Группа влиятельных ученых выдвинула предложение резко повысить требования к статистической значимости в научных работах. «Золотым стандартом» p-значения (значения вероятности) они предлагают считать не 0,05, как сейчас, а 0,005. Об этом сообщается в препринте на сайте, материал также выйдет в журнале Nature Human Behavior.
Среди 72 авторов исследования — такие известные эксперты в области воспроизводимости результатов научных исследований, как Брайан Носек и Джон Иоаннидис. Ученые уверяют, что реформа поможет значимо снизить число ложно-положительных результатов (когда автор статьи «находит» эффект, которого на самом деле нет).
Свою позицию они объясняют на следующем примере. Допустим, шансы на истинность проверяемой гипотезы (например, что некий препарат работает) составляют один к десяти. Если в ходе эксперимента эффект препарата обнаружен с p-значением 0,05, это означает, что нулевая гипотеза (отсутствие разницы между лекарством и плацебо) в три раза более вероятна, чем гипотеза проверяемая. Снижение же порога p-значения до 0,005, напротив, резко снизит вероятность нулевой гипотезы и, как следствие, число ложно-положительных результатов упадет с 35% до 5%.
Вместе с тем, многие ученые раскритиковали данное предложение. Так, некоторые из них считают, что коррекция p-значения никак не поможет победить другие практики «плохой науки»: непродуманный план исследования, склонность журналов публиковать положительные результаты и игнорировать отрицательные, а также подгонки гипотез под результаты.
Другие исследователи возмутились тем, что новый стандарт увеличит стоимость клинических испытаний лекарств на 50-70%.
«Фармацевтические компании… упустят много хороших препаратов, просто потому, что у них не хватит денег их испытывать», — заявил биостатистик Стивен Сенн (Люксембургский институт здоровья).
Напоследок отметим, что немногим ранее американские исследователи и их коллеги обнародовали огромный список, благодаря которому можно будет улучшить качество научных исследований. Они обратили внимание на самые частые проблемы, возникающие на различных этапах обретения знания, и на возможность их решить только в случае совместных действий всех заинтересованных сторон.
Авторы разделили пункты своего списка на основе цикла научных публикаций: методы, отчеты и распространение, воспроизводимость, оценка результатов и стимулы.
К улучшениям на уровне методов они отнесли противодействие когнитивным искажениям (о которых читатели ITC уже в курсе), подъем уровня методологической подготовки, привлечение независимой методологической поддержки и стимулирование работы в совместных проектах. В конечном счете эти усилия приведут к тому, что ученые перестанут находить данные там, где на самом деле только шум.
Сделать отчеты более полезными поможет предварительная регистрация протоколов наблюдений, большая открытость стандартов и борьба с конфликтом интересов. В настоящее время результаты многих экспериментов попадают не в научные журналы, а прячутся в стол, так как опубликовать стремятся только оригинальные и подтверждающие определенную гипотезу результаты, говорят ученые.
К несовершенствам исследователи отнесли недостаточную открытость науки. Например, авторы менее чем 10% статей по психологии предоставляют доступ к исходным данным.
Также науку оздоровило бы более разнообразное рецензирование, в том числе возможность публичного обсуждения на специализированных платформах.
Наконец, отдельное внимание ученые уделили необходимости отмечать не только работы с новаторскими результатами, но и с другими положительными качествами, такими как эффективность, тщательность и воспроизводимость.
«Конечной целью является поиск истины, — говорит Джон Иоаннидис, профессор медицины из Стэнфорда. — Во многих дисциплинах мы пытаемся превратить истину в нечто работающее. Но если наше знание ложно изначально, то оно не сможет ускорить компьютеры, спасти людей или улучшить качество жизни. Вот почему с проблемой плохой науки нужно бороться».