InScience: Какой должна быть научная экспертиза в России

Расскажите, пожалуйста, какие сейчас есть подходы к экспертизе?

Кроме двух используемых подходов, никто еще ничего нового не придумал. Первый способ, который часто применяется, — это наукометрия, то есть некие статистические показатели. Второй — экспертный, когда мы привлекаем к оценке специалистов.

Минтруд разрабатывает отраслевые системы оплаты труда в сферах образования и науки

На мой взгляд, самое адекватное — комбинация этих методов, когда есть отсечение нижней границы методом наукометрии, а победитель определяется на основании оценки той или иной группы экспертов. Если у ученого, который проводит какое-то исследование, нет ни одной статьи, то вероятность того, что он предлагает качественный научный проект, крайне мала, так что эксперту нет смысла эту работу рассматривать и оценивать. Если на этого ученого никто не ссылается, значит, он недостаточно интересен или не заслужил достаточную репутацию, чтобы подавать самостоятельный проект. При этом такой метод не подходит для определения конечного победителя, получателя гранта.

Какие у них плюсы и минусы?

Если мы критикуем метод наукометрии за его бездушность и за возможность победить путем накручивания наукометрических показателей, то метод экспертизы мы обычно ругаем за субъективность. Поэтому очень важно, чтобы при оценке научных работ учитывалось мнение экспертов, которые, во-первых, достаточно квалифицированны для проведения экспертизы, а во-вторых, достаточно независимы. Я не использую фразу «максимально независимы», потому что если мы говорим про широкие вопросы, то в них, конечно, есть достаточное количество людей, которые имеют нужный уровень экспертизы и достаточно независимую позицию и могут быть не знакомы друг с другом. Когда же мы говорим про какие-то узкие, прорывные вещи, то обычно в сообществе все эксперты знают друг друга лично, и уровень субъективной оценки высок. Экспертов стараются взять как можно «дальше» от той персоны, которая подает заявку, — проверяется аффилиация, наличие совместных работ, участие в совместных мероприятиях. Но все равно полностью независимого эксперта найти практически невозможно. Проблему частично можно решить за счет привлечения международной экспертизы.

И что же делать?

Обычно для получения экспертной оценки тот или иной проект направляют нескольким экспертам. В этом случае мы получаем долгую реакцию, да и такой способ очень затратен по времени: сначала мы проводим аналитику, потом экспертизу, да еще и не с одним экспертом, а с тремя — это отвлекает их от других проектов и собственной работы. Но мне лично такой вариант кажется наиболее оптимальным, я рекомендую его.

Как отбирать экспертов и кто этим должен заниматься?

Давайте посмотрим на мировую практику. Есть экспертные панели, они формируются путем «сканирования» людей, публикующихся и выступающих в данной области. В таком случае ставится порог статей и подходящим ученым направляется предложение стать экспертом — они вполне могут и отказаться. Обычно считается, что панель сбалансирована, когда есть международная представленность, то есть эксперты не только с одной страны, и вероятность пересечений интересов в результате уменьшается.

Как быть с проектами именитых ученых? Кто мог бы их оценивать?

Если среди поданных проектов есть один ученый с мировым именем, его проект сильно выделяется и, скорее всего, будет выбран. Обычно ситуация другая: соревнуются несколько человек, и тогда экспертная комиссия решает, какому проекту с точки зрения результата можно больше довериться. Есть несколько критериев: степень оценки достижения целей и степень новизны идей. Великий состоявшийся ученый может подать принципиально новый проект. Мы же иногда видим великих ученых, как свет уходящей звезды, — он был великим в тот момент, когда сделал открытие, а известность пришла через 10 лет. Так что это совсем разные люди — тогда и через 10 лет.

Насколько нужно показывать общественности экспертизу и, в частности, экспертов?

Здесь есть разные подходы. Первый — с анонимностью эксперта, что называется «защитой». В этом случае он может высказать мнение о проектах и не быть потом преследуемыми авторами. Это позволяет абстрагироваться от последствий и быть более независимыми. Но в этот момент возникает непрозрачность оценивания для общественности: «А судьи кто?». В целом этот подход лучше работает, когда проектов много, то есть на этапе отбора.

Другой подход — когда все эксперты подписываются под экспертизой, публично высказываются, но при этом давление общества на них возрастает многократно. В этом случае они должны иметь огромный багаж знаний и опыта, большую социальную устойчивость. Таких людей много вы не соберете. Поэтому публичное мнение обычно высказывается публичными лицами, а большая часть экспертов предпочитают оставаться анонимными. Однако открытость необходима в случае ключевых проектов, например на уровне государства, но тут и эксперты будут соответствующими. Третий подход обычно предлагается научными журналами: если эксперт хочет — может себя назвать, если нет — остается анонимным экспертом.

Как вы думаете, должны ли в таком случае к экспертизе привлекаться не только ученые, но и, возможно, политики и представители бизнеса?

Если мы начнем разделять их на группы, то сильно запутаемся. Мне кажется, нужно использовать стандартный механизм общественных обсуждений, которые должны организовываться, если проект имеет определенную общественную значимость. Как правило, такие проекты обычно затрагивают не только научные, но и экономические интересы. Поэтому общественные обсуждения позволяют выяснить, есть ли в проекте какие-то критические точки. Если поднимаются какие-то вопросы, на которые нет ответов, обычно в этот момент к мнению общественности прислушиваются.

А не получится ли, что будет принято не слишком научно обоснованное решение, как было в случае с ГМО?

ГМО не какая-то группа экспертов взяла и запретила. Проходили дебаты. Другой вопрос, как люди воспринимали генно-модифицированную продукцию, какой образ дали им и, допустим, депутатам, по сравнению с реальным положением. Тут скорее вопрос в том, насколько участники понимали последствия решения. Запрещать ГМО было нельзя, к этому надо было взвешенно относиться. Могу привести хороший пример: на мой взгляд, картофель, который привезли из Америки в Европу, — это ГМО. Часть ДНК картофеля была модифицирована кодом бактерии, и в результате у него получился сладковатый вкус, который нам всем нравится, — и вроде как мы к нему нормально относимся. Никто не может сказать, что те семена, что поставляют нам, — не ГМО. Так что с генными модификациями надо просто уметь работать, это инструмент. Да, реальность суровая: если мы сначала пугались этих понятий, то теперь живем в мире ГМО, и это нужно переосмыслить. Сейчас время изменилось, нужно быть гибкими и научиться подстраиваться.

Как сделать экспертизу справедливее? Обычно есть несколько организаций, чьи проекты и получают поддержку, нужно ли выделять квоты для, скажем, небольших региональных институтов?

Знаете, я категорически против квотирования. Если наша цель — поднять тех, кто слабее или поднять нижний уровень, то не надо называть это конкурсами и ожидать какого-то результата, а нужно расширять лабораторную базу, увеличивать зарплату, использовать другие методы стимуляции. Если же мы говорим о научных конкурсах, то наша задача выделить наиболее сильных и перспективных, тогда какая разница, в каких они организациях работают? Если мы просто начинаем квотировать, мы искусственно создаем систему псевдоравенства, которое не предусматривает роста результата.

При этом есть естественное ограничение. Количество проектов, которое может делать человек, крайне ограниченно. Если сейчас мы посмотрим в правила РНФ, человек может заниматься максимум двумя российскими проектами (один в статусе руководителя, другой — исполнителя) и одним международным проектом (в любом статусе — или руководитель, или исполнитель). Это значит, что если вы уже 15 человек озадачили проектами, то в следующем конкурсе у вас появляются «новые лица» — те, кто сейчас не задействован в такой научной работе. Все происходит естественным путем, за счет сообщества и за счет новых идей, а не на основе банального географического или институционального деления.

Второй важный момент, что после того, как побеждает команда — чаще всего это все-таки команда, а не человек, — у нее должна быть возможность реализовать свой проект, то есть какая-то обеспеченность. Не только финансовыми ресурсами, но и инфраструктурными — чтобы было оборудование для проведения необходимых исследований, был к нему доступ, были расходные материалы и много-много разных деталей, которые играют огромную роль. Поэтому ученый не должен тратить время на построение с нуля инфраструктуры (а это все-таки годы в нашей действительности), а работать там, где она уже развита.

Я могу привести пример с установкой класса «мегасайенс» — к ней съезжаются ученые со всего мира. Никому в голову не придет делать еще три таких же — это невыгодно и экономически, и с точки зрения научного результата не эффективно, поэтому делается одна установка. То же самое в исследованиях, только в маленьких масштабах. Нет смысла в каждой точке строить замок. Есть смысл собирать ученых из разных частей страны над одним проектом и реализовывать задачу. Надо понять, в чем наша цель — расставить точки на карте или получить максимальный результат? Хотя, надо сказать, это ни капли не умаляет задачу развития регионов, просто это по-другому финансируется, тогда это просто инвестиционные проекты на развитие той или иной территории, того или иного университета.

Однако у ученого из региона и из столицы будет явно разный доступ к оборудованию, на качестве исследований это тоже скажется.

Абсолютного равенства достичь невозможно. Мы можем попытаться дать равные возможности, но говорить о равенстве в мире ученых — это как-то странно. Вся наука построена на том, что кто-то лучше, чем другой. Понятно, в пешей доступности нужной установки у кого-то нет. Мы в Санкт-Петербургском государственном университете пропагандируем возможности безбарьерного доступа к научной инфраструктуре для работы любых организаций — это наша философия, — но даже нам не удается удовлетворить все пожелания исследователей. Если в другой организации есть тот прибор, которого нет у нас, нет ничего зазорного в том, чтобы обратиться за помощью к коллегам. Мы не можем купить уникальный микроскоп ради апробации одной идеи, но можем оплатить командировку, чтобы ученый выполнил этап своей научной работы с использованием необходимого оборудования.

Можно ли сделать экспертизу честнее с помощью максимального вовлечения цифровых технологий?

У нас уже есть единая электронная система, и все государственные проекты проходят экспертизу через нее. Эта система может работать с большим объемом данных, проводить их оценку, сравнивать, делать шкалы эффективности тех или иных исследований или команд. Но здесь важно сохранить разнообразие методик и подходов, нельзя на какой-то один подход делать ставку, учитывая вероятность провала в рамках любого научного исследования. В Российском научном фонде большинство проектов по экспертам автоматически распределяет электронная программа, а потом уже происходит оценка, выстраивается медиана, средний балл, оценивается даже средний балл эксперта. Такой подход демонстрирует качественный результат как минимум последние два-три года.

Понимаете, машина — бездушна. Кто-то должен построить эти алгоритмы, поставить эти цели, потому что в зависимости от цели меняется и ценность информации. Мы вот, например, занимаемся сейчас технологиями развития искусственного интеллекта, распределенных реестров, работой с большими данными, но это всего лишь технологии, они должны применяться к чему-то. Дальше у нас есть цели, например превосходство в Арктике. Опять же, общая цель непонятна конкретным людям. Она тут же разбивается на много подзадач для ограниченного количества специалистов. Надо, например, строить ледоколы: увеличивать запасы хода, использовать новые материалы, и есть много разных подцелей, подпроектов, поддостижений. Важно придумать механизмы согласования этих действий для достижения глобальной цели. Механизм деления большой цели на задачи, а потом сбор в единую цель — это, конечно, искусство. Поэтому какие бы системы мы сейчас ни вводили, все равно будет иметь место человеческий фактор — люди, которые продумывают эти стратегии для достижения целей. А ставить цели искусственному интеллекту правительство еще не доверяет, но в будущем, думаю, мы этого достигнем.

С учетом всех этих обсуждений и опасений по поводу ИИ насколько такое вообще реалистично?

Когда мы строим подобные утопии и ставим во главу угла беспристрастность, надо спросить у себя: а насколько мы хотим жить в такой беспристрастной системе? Насколько людям будет комфортно в этой системе? В случае, когда это касается конкретных судеб людей, эта фраза меняет точку зрения: «Может, надо было по-человечески поступить?». В любой ситуации важен человеческий подход, и поиск этого человеческого подхода — отдельная задача, которая пока не решена. Как сделать одновременно «беспристрастно» и «по-человечески», наука еще не знает.