Пререгистрированные исследования (заявленное исследование, англ. pre-registration study) — представляют собой форму исследования, в которой методы и предлагаемый анализ результатов предварительно регистрируются и рецензируются в виде эмпирической журнальной статьи, до начала проведения исследования и сбора данных. Протоколы исследований высокого качества, соответствующие научным стандартам, получают согласие на публикацию. После одобрения протокола, данные собираются в соответствии с заявленной процедурой и финальный вариант статьи вне зависимости от результатов публикуется в журнале. Такой вид исследования позволяет избежать некоторых искажений, которые возникают при публикации научных исследований (например, предвзятости публикаций или p-hacking Data dredging).
Необходимые элементы При проведении обычного исследования авторы сначала проводят все процедуры, затем их описывают и посылают в журнал на рецензирование.
Чтобы тип статьи квалифицировался как пререгистрированное исследование, политика журнала должна включать, по крайней мере, следующие положения: Перед проведением эксперимента проводится экспертная оценка. Рукописи, выдержавшие предварительную экспертизу, получают принципиальное согласие на публикацию, которое не будет отменено на основании результатов исследования, а отказ в публикации может происходить либо в результате сбоя в обеспечении качества, либо при отклонениях от зарегистрированного протокола, либо из-за неразрешимых проблем с прозрачностью или стилем отчётности.
Области применения Научные области, в которых проводятся исследования, в формате пререгистрированных исследований: психология, биология, нейронауки, медицина, экономика, экология, лингвистика, политика, и другие.
Этапы проведения
1 этап — Подготовка рукописи для пререгистрации и подача заявки Авторы пререгистрированных исследований первоначально представляют журналу для первичного рецензирования рукопись первого этапа. На этом этапе рукопись должна содержать разделы: «введение», «методы» (включая планируемые методы статистической обработки). Также можно приложить результаты пилотных экспериментов (если такие эксперименты проводились).
2 этап — Рецензирование и получение принципиального согласия После оценки протокола редакторами и рецензентами, рукопись корректируется в соответствии с рецензиями и предоставляется на рассмотрение. Процесс рассмотрения в среднем требует 9 недель. По итогам рассмотрения, в случае соответствия исследования научным стандартам, автор получает принципиальное согласие на публикацию (in-principal acceptance). Это означает, что журнал практически гарантирует публикацию, если авторы проводят эксперимент в соответствии с утвержденным протоколом. После получения принципиального согласия, автор может приступить к реализации эксперимента.
3 этап — Сбор данных и подача финальной стати для повторного рецензирования После сбора данных, рукопись, включающая «введение» и «методы» из первоначальной рукописи, а также «результаты» и «обсуждение», отправляется на вторичное рецензирование, для проверки соответствия планов результату. Раздел «результаты» включает результаты предварительно зарегистрированных анализов, вместе с любыми дополнительными незарегистрированными анализами в отдельном разделе, озаглавленном «исследовательский анализ». Авторы должны также предоставить свои данные в архиве в свободном доступе (например Open Science Framework (OSF) или Figshare).
4 этап — Публикация После оценки финальной рукописи редакторами и рецензентами, статья публикуется в журнале. Таким образом, опубликованное пререгистрированное исследование, будет выглядеть очень похожим на стандартное исследование, но у читателей будет уверенность в том, что гипотезы и основные методы анализа не содержат сомнительных исследовательских практик.
Преимущества пререгистрированных исследований Пререгистрированные исследования подчеркивают важность исследовательского вопроса и качество методологии путем проведения экспертной оценки перед сбором данных. Протоколы высокого качества принимаются к публикации в предварительном порядке, если авторы соблюдают зарегистрированную методологию.
Дэниел Симонс, профессор Университета штата Иллинойс, Урбана-Шампейн, соредактор Пререгистрированных реплицированных исследований в «Перспективах психологической науки» (Perspectives on Psychological Science), и входящий главный редактор «Достижения в области методов и практики в области психологической науки» (Advances in Methods and Practices in Psychological Science) заметил что, «Пререгистрированные исследования устраняют предвзятость к нежелательным результатам при публикации, поскольку результаты не известны во время проверки.»
Крис Чамберс, профессор Кардиффского университета, редактор разделов для пререгистрированных исследованиях в Cortex, Европейского журнала неврологии и Королевского общества открытой науки, Председатель Комитета пререгистрированных исследований при поддержке Центра открытых наук высказался следующим образом: «Поскольку исследование принято заранее, стимулы для авторов меняются от создания самой красивой истории к самой точной.»
Выгода Журналы выигрывают, публикуя работы, которые являются одновременно передовыми и демонстративно воспроизводимыми. Выполнение этих критериев с трудом можно достичь в одном документе, опубликованном обычными средствами. Спонсоры получают выгоду благодаря поддержке ряда проектов, которые, почти гарантировано, будут опубликованы в авторитетном журнале, устраняя смещение публикаций и максимизируя прозрачность. Этот механизм также обеспечивает выполнение работы более корректно, с поддержкой спонсора; а также может повысить административную эффективность для спонсора, в котором процесс рассмотрения, по крайней мере частично, управляется журналом (при этом, спонсор сохраняет основную роль в принятии решений, какую работу поддерживать). После одновременного рассмотрения и спонсором и журналом, самые сильные предложения получают финансовую поддержку спонсора и принципиальное согласие на публикацию журналом. Авторы получают выгоду от того, что их публикации принимаются в уважаемом журнале до начала проведения исследований, и через механизм, который не только минимизирует предвзятость исследователей, но и устраняет стимул для авторов к предвзятости публикаций. Поэтому документы, скорее всего, окажутся содержательными и хорошо цитируемыми. Научное сообщество извлекает выгоду из увеличения объёма исследований, которые являются своевременными, важными, транспарантными и воспроизводимыми.
Другие преимущества Формат пререгистрированных исследований соблюдает гипотетико-дедуктивную модель научного метода и исключает различные сомнительные методы исследований, включая низкую статистическую мощность, избирательную отчётность о результатах и предвзятость публикаций, позволяя при этом свободно проводить пилотные (незарегистрированные) анализы и сообщать о полученных результатах.
Стимулирование прямых репликаций. Репликации могут быть дорогостоящими и приносят немного пользы для карьеры авторов. Для обеспечения убедительности прямой репликации часто требуется гораздо большая выборка, чем в исходном исследовании, а также после завершения репликации, исследование может быть трудно опубликовать, поскольку многие журналы отказываются от неё независимо от результатов. До тех пор, пока не будет обеспечена предварительная публикация, ученые не смогут иметь никакого стратегического смысла проводить прямые репликации. В случае пререгистрированных исследований получение принципиального согласия обеспечивает уверенность в публикации и, таким образом, даёт ученым самый сильный стимул к прямому тиражированию предыдущей работы.
Публикация всех результатов. Поскольку пререгистрированные исследования не подвержены предвзятости к публикации, они гарантируют, что научные исследования высокого качества публикуется независимо от результата. Это означает, что авторы могут публиковать каждый качественный эксперимент, а не выборочно публиковать исследования, которые дали положительные результаты.
Повышение воспроизводимости исследований. Так как пререгистрированные исследования нейтрализовывают различные сомнительные методы научного исследования, такие как p-hacking Data dredging и низкую статистическую мощность, вполне вероятно, что результаты таких исследований будут, в среднем, более воспроизводимы, чем в результатах обычных исследований. Это, в свою очередь, поможет сформировать репутацию участвующих ученых, как доверенных генераторов знаний.
Отличие пререгистрированых исследований от других форматов
Отличие пререгистрированых исследований от клинических испытаний Формат пререгистрированых исследований применяется как к клиническим, так и к неклиническим исследованиям, и выходит за рамки регистрации клинических испытаний. Во-первых, в случае пререгистрированых исследований процесса рецензирования непрерывен от первого этапа до публикования результатов, что обеспечивает верность авторов зарегистрированному протоколу. Это особенно важно, учитывая, что только 1 из 3 рецензентов клинических исследований сравнивают первоначальные протоколы авторов с их окончательными представленными рукописями (Matieu, Chan, & Ravaud, 2013). Во-вторых, в отличие от пререгистрированых исследований, большинство форм регистрации клинических испытаний (например clinicaltrials.gov) не проводит экспертизу изучения протоколов исследования, что даёт возможность авторам (даже неосознанно) оставлять достаточного простора для манёвра в методах или предлагаемых анализах для выборочного представления желаемых результатов (Джон Левенштейн, & Prelec, 2011) или изменять априорные гипотезы после того, как результаты стали известны (Керр, 1998). В-третьих, даже в тех ограниченных случаях когда журналы делают обзор и публикуют первоначальные протоколы испытаний (например, журнал ЛанцетThe Lancet, BMC протокол), ни один из этих форматов даёт никаких гарантий, что окончательные итоги будут опубликованы в журнале. Эти особенности формата пререгистрированых исследований отличают её от существующих систем предварительной регистрации клинических испытаний.
Отличие рецензирования протоколов исследования пререгистрированых исследований от рецензирования протоколов исследований, финансируемых за счет грантов И в тех и в других случаях протокол исследования проходит предварительное рецензирование, но существует также несколько различий между этими видами рецензирования.: Рецензирование протоколов исследований, финансируемых за счет грантов, как правило, включает только общее или приблизительное описание методов, которые будут использоваться, в то время как первый этап пререгистрированых исследований включает поэтапный отчёт экспериментальных процедур и плана анализа. Протоколы исследований финансируемых за счет грантов редко публикуются и исследователи часто от них отклоняются. Пререгистрированые исследования предназначены для всех вариантов исследований, а не только для исследований, финансируемых за счет грантов.
Список журналов В настоящее время 88 журналов используют формат пререгистрированых исследований либо как обычный вариант представления результатов, либо как единичный специальный выпуск. Другие журналы предлагают некоторые особенности формата. Регулярно обновляемый список можно посмотреть здесь на вкладке «Participating Journals» . Таблица, которая сравнивает особенности пререгистрированых исследований в разных журналах, находится здесь.
Ограничения
Не является панацей для всех областей науки Формат пререгистрированых исследований не была предложен в качестве «панацеи» для всех областей науки. Данная модель подходит для любой области в которой существует: предвзятость публикации (журналы выборочно публикуют результаты, которые являются статистически значимыми или содержащими желательные результаты) p-hacking Data dredging (в исследованиях, где выводы зависят от выбранных методов статистической обработки, исследователи выборочно сообщают о статистически значимых результатах)