Антрополог и, по совместительству, сотрудник исследовательского подразделения DARPA Адам Рассел попросил всех неравнодушных помочь агентству разработать технологию распознания псевдонаучной ерунды в потоке научных знаний при помощи новейших машинных алгоритмов и методов анализа больших данных.
Речь идет о создании алгоритма для проверки научной достоверности, прежде всего, социологических исследований. Говоря простым языком, ученые намерены создать систему, которая сможет взять научное исследование, изучить его и определить, научное оно или нет. По сути, это будет такой себе «детектор бреда», который придется как нельзя кстати в нынешнюю «эпоху постправды» — эпоху безудержного распространения недостоверной информации.
Самому Расселу название «детектор бреда», к слову, не очень нравится, хоть он и признает, что определенный смысл в нем есть.
«Я глубоко верю в настоящую науку. Нельзя утверждать, что мы ничего не знаем о мире», — говорит он.
По словам ученого, он не намерен вносить свой вклад в популяризацию обскурантизма — мол, раз ученые в чем-то не уверены, значит, им нельзя доверять. По его мнению, наука — это по-прежнему лучший метод познания мира, а DARPA просто хочет знать, в чем наука действительно преуспела, и почему.
Интерес Министерства обороны США, научным подразделением которого и является DARPA, к социальным наукам объяснить легко — в 21 веке военным крайне важно понимать, как работает общественное сознание. Почему одни организации или целые государства сохраняют стабильность, тогда как другие разваливаются? Почему пользователи социальных сетей часто укрепляются в своих радикальных суждениях? Почему люди в некоторых случаях сотрудничают друг с другом, а в других — предпочитают соперничать? Кроме того, военные также хотят узнать, как люди взаимодействуют с машинами, прежде чем машины станут умнее и распространятся повсеместно.
Однако ныне все эти вопросы объединены двумя общими чертами: они играют немаловажную роль для национальной безопасности; но на них никто не может дать точный ответ.
К сожалению, просто довериться научным исследованиям по общественным наукам сегодня нельзя. Прежде всего, мешает кризис воспроизводимости результатов исследований, особенно в психологии и социологии: зачастую ученые не могут повторить эксперимент и получить те же результаты повторно. Также существует проблема сознательной подгонки результатов ради получения грантов и публикаций. Но на этом проблемы не заканчиваются.
«Если вы спросите ряд социологов, как работает такая-то организация, то получите не просто 20 различных ответов, а ответы, несравнимые друг с другом, — говорит Дункан Уоттс, социолог из Microsoft Research, в январе этого опубликовавший обличающую статью в журнале Nature Human Behavior, посвященную проблемам социальных наук. — Вы читаете одну статью, потом другую, в их заголовках есть одинаковые слова, но разный метод анализа, разные теоретические конструкции, совершенно разная причинно-следственная связь. К тому времени, пока вы завершите обзор литературы, в вашей голове будет полная каша. Речь идет не об отдельных недостоверных исследованиях, а о проблемах целой науки!».
Таким образом, заключает Рассел, в общественных науках — экономике, социологии, антропологии — все еще нет необходимых стандартов, и DARPA собирается их создать. Чтобы сделать это, агентство объявило конкурс на разработку машинного алгоритма в рамках проекта «Уровни достоверности в общественных и поведенческих науках», который, в свою очередь, является частью программы «Новое поколение социальной науки», запущенной в августе прошлого года.
«Когда научная отрасль возникает, то, как правило, в скором времени она приобретает определенные стандарты. Это свидетельствует о том, что в ней происходит что-то значимое, — рассказывает Рассел. — В социальных науках пока ничего такого нет».
В конечном счете агентство надеется собрать воедино все идеи и технологии научной проверки достоверности: как привычные мета-анализ, экспертную оценку и статистические методы, так и новые — объем цитирования в сети и коэффициент динамического взаимодействия, чтобы на их основе затем разработать ИИ-алгоритм, способный быстро присваивать «уровень достоверности» научным трудам и статьям.
Мнения ученых
Вместе с тем, многие ученые скептически отнеслись к идее DARPA.
«Я не думаю, что в итоге у них получится воплотить в жизнь все свои планы, — рассказывает социолог из Пристонского университета Мэтью Сальганик, также работающий над проблемой воспроизводимости социологических исследований. — Максимум, будет разработан механизм, который сможет отбирать статьи, требующие более внимательного рецензирования».
По мнению ученых, основная проблема, с которой столкнется агентство, будет заключаться в том, что никто не может точно сказать, что именно должен уметь делать такой алгоритм.
«В науке нет «золотого стандарта» и бенчмарков», — сетует Брайан Носек, глава Центра открытой науки и один из ведущих ученых, занимающийся проблемами воспроизводимости.
Однако ситуация все-таки не безысходная, обнадеживает Носек.
«Раз есть люди, которые полагают, что знают решение проблемы некачественных исследований, значит, нужно устроить соревнование между ними. Полагаю, собрав множество идей воедино и попытавшись их сравнить, мы сможем посмотреть на проблему с совершенно с иной точки зрения и приблизиться к ее решению», — утверждает ученый.
Таким образом, по мнению Носека, DARPA следует не просто собирать всевозможные идеи, но также час от часу устраивать своего рода состязания, в ходе которых предложившие те или иные модели по оценке достоверности люди будут иметь дело с конкретными проблемными исследованиями. Затем, по результатам эксперимента, ученые разработают так называемую «номологическую нейронную сеть», одновременно использующую наиболее качественные подходы.
«Единственный рабочий метод проверки доказательств заключается в том, чтобы изучать проблему с разных сторон», — говорит Носек.
«Но это весьма расплывчатое определение», — уточняет ученый.
Впрочем, по мнению исследователей, проблема социальных наук кроется не только в невоспроизводимости множества экспериментов. По словам Сальганика, социальные науки, в отличие, например, от наук компьютерных, имеют еще и свою собственную особую эпистемологическую проблему, из-за которой ученые задают вопросы гораздо чаще, чем получают ответы.
«Ученые из компьютерных наук привыкли задавать вопросы, на которые они могут легко получить ответ, — говорит Сальганик. — Какой спам-фильтр лучше всего отсеивает спам? Вот 900000 писем, помеченных, как спам и «не-спам». На их основе мы натренируем 10 различных нейронных сетей. Вот еще 100 000 писем. Пускай новоиспеченные сети попробуют определить, какое письмо относится к какой категории, а потом мы посмотрим, какая из них справилась с заданием лучше всего. В результате мы определим наиболее эффективные алгоритмы.
Ученые компьютерных наук, как правило, занимаются системами предсказания, а проблемы предсказания легко выразить количественно. В то же время, в социальных науках все иначе, потому что они пытаются ответить на вопрос, почему так происходит, а не как это распределить».
Следственно, утверждает Сальганик, DARPA будет очень трудно обучить алгоритм выявлять качественные проблемы исследований.
«Дело не только в статистической значимости, — добавляет Сальганик. — Даже если вы начнете просто отсеивать исследования, в которых значение Р (показателя статистической значимости) ниже 0.05, это никак не поможет обнаруживать научные изыскания, в ходе которых ученые стали жертвой, например, подтверждающего искажения, особенно часто встречающегося в исследованиях, проводимых внутри корпораций работниками самих же корпораций».
Однако на критику Рассел парирует, что он готов к любому исходу проекта.
«Основное достоинство DARPA заключается в том, что если у вас имеется достаточно замечательных идей, и они вкладываются в бюджет, то перед вами открываются все двери, — отмечает Рассел. — И в долгосрочной перспективе оно все равно того стоит. Чем лучше будет наука, тем более качественные решения мы сможем принимать».
Напоследок ученые отмечают, что в ближайшем будущем научное сообщество, по всей видимости, столкнется с серьезнейшей фундаментальной проблемой из сферы философии науки, разрешить которую будет не так-то просто. Но «непросто» не значит «непреодолимо», обнадеживают исследователи.
«В какой-то степени это реально шокирует: только сейчас мы начинаем осознавать, что используемые нами методы далеко не так надежны, как мы считали ранее, — говорит Уоттс. — Но если мы сумеем объединить усилия, то результаты будут того стоить: мы значимо улучшим нашу способность отсеивать лженауку в рядах настоящей науки».
Источники: WIRED, hightech.fm