Экспертная оценка в 21 веке

Новый акцент на рецензировании в Соединенных Штатах вскоре нашел отражение и в журналах; Американские ученые все чаще считали журналы с бессистемной системой рецензирования некачественными или ненадежными. Полагаться на суждения редакции или мнения сотрудников финансирующих органов больше не было приемлемо; респектабельному научному учреждению необходимо было прислушиваться к мнению своих рецензентов, чтобы принимать решения о том, какая наука заслуживает публикации или финансирования. Мнения рецензентов — экспертов, анонимно предлагающих свое время для служения делу совершенствования науки, — стали отражать мнение научного сообщества в целом. Таким образом, экспертная оценка превратилась из необязательного бюрократического процесса в систему, которая должна была обеспечивать качество и надежность науки.

Члены Американской ассоциации содействия развитию науки, 1947 год

Страны и организации, находящиеся вне сферы надзора американского правительства, позже стали склонны к систематическому внешнему рецензированию и не обязательно рассматривали его как практику, имеющую центральное значение для науки, вплоть до 1970-х годов. Еще в 1989 году редакторы известного британского медицинского журнала The Lancet жаловались, что «в Соединенных Штатах от рецензирования требуют слишком многого», и с гордостью заверяли читателей, что в The Lancet «рецензенты — это советники, а не лица, принимающие решения». Однако влияние и огромный размер американского научного сообщества способствовали тому, что представление о экспертной оценке как ключе к научной респектабельности распространилось за пределы США. Даже «Ланцет» начал привлекать все больше и больше рецензентов из-за опасений, что без формального рецензирования они больше не смогут привлекать американских авторов или читателей. Опыт The Lancet был типичным: хотя поначалу журнал The Lancet, возможно, и сожалел о том, что американские журналы и финансирование уделяют особое внимание рецензированию, его растущая центральная роль в США в сочетании с научной значимостью американских авторов, университетов и финансирующих организаций обеспечила быстрое распространение этой практики. Влияние распространилось за пределы науки; В конце 1970-х и начале 1980-х годов гуманитарные дисциплины также стали больше полагаться на экспертную оценку, чтобы обозначить научную легитимность. К 1990-м годам лишь немногие журналы или финансирующие организации в любой стране отказывались от рецензирования.

Совсем недавно экспертная оценка, похоже, столкнулась с кризисом. Критики утверждают, что процесс экспертной оценки не позволяет отличить хорошую науку от плохой. Несколько громких статей были опубликованы в ведущих журналах после прохождения рецензирования, но после публикации подверглись резкой критике или были отозваны из-за обвинений в мошенничестве. Некоторые исследования показали, что женщины и недостаточно представленные меньшинства чаще получают неблагоприятные отзывы судей, чем их коллеги. Другие наблюдатели утверждают, что экспертная оценка подавляет инновационные исследования и поощряет более знакомые и безопасные проекты. В 2011 году Палата общин Великобритании заказала отчет о состоянии экспертной оценки и пришла к выводу, что, хотя экспертная оценка «имеет решающее значение для репутации и надежности научных исследований», многие ученые считают, что система душит прогресс, часто бывает предвзятой и что «существует мало убедительных доказательств его эффективности». В 1970-х годах экспертная оценка была преобразована в систему, которая вознаграждает хорошую науку и исправляет плохую науку; в 2010-х годах ученые столкнулись с тем фактом, что ни одна из этих задач, похоже, не выполняется особенно хорошо.

Члены научного сообщества предложили несколько различных взглядов на то, как экспертная оценка может измениться в будущем. Одно из популярных предложений заключается в том, что судьи должны подписывать свои отчеты - предложение, которое подсознательно перекликается как с первоначальным видением Уэвелла относительно отчетов судей в 1830-х годах, так и с планом Конлана относительно NSF в 1970-х годах. Сторонники этого изменения утверждают, что, если рецензентам придется подписывать свои комментарии, эти комментарии будут более вдумчивыми и более конструктивными, чем если бы рецензентам было разрешено оставаться анонимными. Другие наблюдатели утверждают, что ученым следует полностью отказаться от экспертной оценки и позволить исследователям просто публиковать свои статьи для получения обратной связи от всего сообщества, как это делают физики на сайте www.arxiv.org. До сих пор ни одно из этих предложений не получило большого распространения и не оказало большого влияния на практику публикации или рецензирования грантов. Некоторые журналы, однако, начали экспериментировать с менее масштабными изменениями в системе рецензирования. Журнал eLife , например, собирает мнения нескольких рецензентов, но не отправляет их отчеты непосредственно автору. Вместо этого рецензенты и редактор обсуждают статью друг с другом, чтобы прийти к единогласному решению о том, следует ли принять, пересмотреть или отклонить статью.

Вашингтон, округ Колумбия, офис AAAS

Одной из причин того, что трудно представить существенные изменения в системе рецензирования, может быть сохранение мифа о том, что Генри Ольденбург изобрел рецензирование во время научной революции. Если экспертную оценку представить как неизменную и проверенную временем систему, тесно связанную с истоками самой современной науки, реформа кажется невозможной. Но рецензирование имеет гораздо более запутанную и сложную историю, чем предполагает миф о его происхождении, и его роль в научном сообществе никогда не была статичной. Его форма и цель формировались и менялись в соответствии с тем, что ученым требовалось от этой практики: доверие к новому научному сообществу, повышение уровня научной литературы или уверенность покровителей в том, что деньги тратятся ответственно. Рецензирование впервые появилось во время серьезного изменения в научных публикациях — появления системы, ориентированной на журналы, — а рецензирование заняло центральное место в научной практике как одно из решений меняющихся отношений между учеными и источниками финансирования. Поскольку научные публикации борются с ростом онлайн-публикаций, а ученые пытаются разобраться в политическом моменте, который вызвал глубокий скептицизм в таких областях, как исследования вакцин и наука о климате, мы, возможно, стоим на пороге больших перемен для экспертной оценки, как мы знаем. Это.