Капли ртути

Оценка научных результатов: маятник между экспертизой и наукометрией - часть 3
(часть 1, часть 2, часть 3)

Неплохим рабочим решением для этого является гибрид наукометрии и экспертизы. Подчеркиваю, речь идет о решении, которое можно относительно просто реализовать в реальном мире и оно будет приемлемо работать. А не об идеалистических рассуждениях, «как надо бы».

Как может выглядеть этот гибрид:
1) На первом этапе делается предварительное наукометрическое ранжирование претендентов.
2) Бывает еще этап массовой экспертизы с оценками нескольких экспертов, например, как это устроено в РНФ. Но, по своей сути, это все равно промежуточный этап, который на выходе дает баллы оценки, то есть наукометрию. Еще раз вспоминаем, что классическая наукометрия — это тоже где-то до этого проведенная оценка экспертами. Ключевое здесь то, что решение принимается не на этом этапе.
3) На последнем этапе экспертный совет обсуждает ранжированный список и утверждает финальное решение. И, что важно, имеет полномочия своим решением изменить результаты ранжирования.
Да, это похоже на механизм экспертизы РНФ, но в общем-то велосипед изобретать и не надо, у фонда очень разумная система. Я сам использовал этот подход при оценке и НЕгрантовых заявок в ряде других конкурсов. Его преимуществом является то, что наличие предварительного ранжированного списка - проекта решения - страхует экспертный совет от многих перекосов.

Почему это работает.
Во-первых, самые яркие особенности оцениваемых заявок хоть как-то уже подсвечены: или чистой наукометрией, или экспертами первого уровня. Это резко снижает вероятность того, что никто не заметит объективные параметры. Например, очень высокий хирш претендента, которого никто в экспертном совете не знает.
Во-вторых, и главное - проект решения создает барьеры для искажений в оценке. Из личного опыта, без такого проекта процесс оценивания выглядит примерно так: кто-то первый должен предложить решение, обычно оно какое-то такое — «ну вот претендент Х молодец» или «ну претендент Х сейчас сплоховал, но человек-то в целом хороший, а мы звери что ли». И фактически проектом финального решения становится предложение первых высказавшихся. В этом сценарии искажения естественным образом просачиваются в решения. А чтобы их исправить, другим членам совета надо пойти на некоторый конфликт и сказать (по сути, форма при этом может быть сколько угодно вежливая): «вы необъективны и ваше решение неверно, на самом деле надо вот так…», что дискомфортно для многих людей. В результате, если предлагаемое решение совсем уж не противоречит здравому смыслу и совести, есть огромный соблазн промолчать.

Когда же ранжированный список есть — он и становится проектом финального решения. И теперь, чтобы внести в него изменения, надо привести веские основания, то есть по сути встать и сказать: «коллеги, я считаю, что по такой и такой причине ранжирование выполнено некорректно; чтобы исправить это, предлагаю исключить из числа победителей претендента 10 и передать это место претенденту 15». Это, во-первых, заставляет хорошо аргументировать свою позицию, что исключает совсем уж неосознанные искажения. Во-вторых, заставляет эксперта не «быть хорошим» и предложить в победители человека А, а быть объективным и «отобрать место у человека Б в пользу человека А», причем сделать это публично на весь совет, где, может быть, сидят друзья человека Б.
По моему опыту, такая структура дискуссии и принятия экспертных решений ОЧЕНЬ способствует принятию более взвешенных и объективных решений.

В завершение хотелось бы высказать мысль. Чтобы привести систему научной экспертизы в более оптимальное состояние, научному сообществу нужно не только бодаться с бюрократами, продолжая качать маятник между бюрократическим маразмом и произволом «уважаемых ученых». А научиться по мере возможности качественно, объективно и быстро проводить научную экспертизу, выработав надежные и рабочие механизмы. И может статься, что когда это произойдет, бюрократическая машина без сильного сопротивления сдаст лишнюю и непонятную для себя работу по оценке такой сложной и непонятной науки.

www.tgoop.com/mercury_octave/37

2.13K viewsedited  Aug 12, 2024 at 16:22

Оценка научных результатов: маятник между экспертизой и наукометрией - часть 3
(часть 1, часть 2, часть 3)

Неплохим рабочим решением для этого является гибрид наукометрии и экспертизы. Подчеркиваю, речь идет о решении, которое можно относительно просто реализовать в реальном мире и оно будет приемлемо работать. А не об идеалистических рассуждениях, «как надо бы».

Как может выглядеть этот гибрид:
1) На первом этапе делается предварительное наукометрическое ранжирование претендентов.
2) Бывает еще этап массовой экспертизы с оценками нескольких экспертов, например, как это устроено в РНФ. Но, по своей сути, это все равно промежуточный этап, который на выходе дает баллы оценки, то есть наукометрию. Еще раз вспоминаем, что классическая наукометрия — это тоже где-то до этого проведенная оценка экспертами. Ключевое здесь то, что решение принимается не на этом этапе.
3) На последнем этапе экспертный совет обсуждает ранжированный список и утверждает финальное решение. И, что важно, имеет полномочия своим решением изменить результаты ранжирования.
Да, это похоже на механизм экспертизы РНФ, но в общем-то велосипед изобретать и не надо, у фонда очень разумная система. Я сам использовал этот подход при оценке и НЕгрантовых заявок в ряде других конкурсов. Его преимуществом является то, что наличие предварительного ранжированного списка - проекта решения - страхует экспертный совет от многих перекосов.

Почему это работает.
Во-первых, самые яркие особенности оцениваемых заявок хоть как-то уже подсвечены: или чистой наукометрией, или экспертами первого уровня. Это резко снижает вероятность того, что никто не заметит объективные параметры. Например, очень высокий хирш претендента, которого никто в экспертном совете не знает.
Во-вторых, и главное - проект решения создает барьеры для искажений в оценке. Из личного опыта, без такого проекта процесс оценивания выглядит примерно так: кто-то первый должен предложить решение, обычно оно какое-то такое — «ну вот претендент Х молодец» или «ну претендент Х сейчас сплоховал, но человек-то в целом хороший, а мы звери что ли». И фактически проектом финального решения становится предложение первых высказавшихся. В этом сценарии искажения естественным образом просачиваются в решения. А чтобы их исправить, другим членам совета надо пойти на некоторый конфликт и сказать (по сути, форма при этом может быть сколько угодно вежливая): «вы необъективны и ваше решение неверно, на самом деле надо вот так…», что дискомфортно для многих людей. В результате, если предлагаемое решение совсем уж не противоречит здравому смыслу и совести, есть огромный соблазн промолчать.

Когда же ранжированный список есть — он и становится проектом финального решения. И теперь, чтобы внести в него изменения, надо привести веские основания, то есть по сути встать и сказать: «коллеги, я считаю, что по такой и такой причине ранжирование выполнено некорректно; чтобы исправить это, предлагаю исключить из числа победителей претендента 10 и передать это место претенденту 15». Это, во-первых, заставляет хорошо аргументировать свою позицию, что исключает совсем уж неосознанные искажения. Во-вторых, заставляет эксперта не «быть хорошим» и предложить в победители человека А, а быть объективным и «отобрать место у человека Б в пользу человека А», причем сделать это публично на весь совет, где, может быть, сидят друзья человека Б.
По моему опыту, такая структура дискуссии и принятия экспертных решений ОЧЕНЬ способствует принятию более взвешенных и объективных решений.

В завершение хотелось бы высказать мысль. Чтобы привести систему научной экспертизы в более оптимальное состояние, научному сообществу нужно не только бодаться с бюрократами, продолжая качать маятник между бюрократическим маразмом и произволом «уважаемых ученых». А научиться по мере возможности качественно, объективно и быстро проводить научную экспертизу, выработав надежные и рабочие механизмы. И может статься, что когда это произойдет, бюрократическая машина без сильного сопротивления сдаст лишнюю и непонятную для себя работу по оценке такой сложной и непонятной науки.

BY Капли ртути