Блоги
DARPA займется отсеиванием лженауки при помощи алгоритмов на основе машинного обучения
21

DARPA займется отсеиванием лженауки при помощи алгоритмов на основе машинного обучения

DARPA займется отсеиванием лженауки при помощи алгоритмов на основе машинного обучения

Антрополог и, по совместительству, сотрудник исследовательского подразделения DARPA Адам Рассел попросил всех неравнодушных помочь агентству разработать технологию распознания псевдонаучной ерунды в потоке научных знаний при помощи новейших машинных алгоритмов и методов анализа больших данных.

Речь идет о создании алгоритма для проверки научной достоверности, прежде всего, социологических исследований. Говоря простым языком, ученые намерены создать систему, которая сможет взять научное исследование, изучить его и определить, научное оно или нет. По сути, это будет такой себе «детектор бреда», который придется как нельзя кстати в нынешнюю «эпоху постправды» — эпоху безудержного распространения недостоверной информации.

Самому Расселу название «детектор бреда», к слову, не очень нравится, хоть он и признает, что определенный смысл в нем есть.

«Я глубоко верю в настоящую науку. Нельзя утверждать, что мы ничего не знаем о мире», — говорит он.

По словам ученого, он не намерен вносить свой вклад в популяризацию обскурантизма — мол, раз ученые в чем-то не уверены, значит, им нельзя доверять. По его мнению, наука — это по-прежнему лучший метод познания мира, а DARPA просто хочет знать, в чем наука действительно преуспела, и почему.

Интерес Министерства обороны США, научным подразделением которого и является DARPA, к социальным наукам объяснить легко — в 21 веке военным крайне важно понимать, как работает общественное сознание. Почему одни организации или целые государства сохраняют стабильность, тогда как другие разваливаются? Почему пользователи социальных сетей часто укрепляются в своих радикальных суждениях? Почему люди в некоторых случаях сотрудничают друг с другом, а в других — предпочитают соперничать? Кроме того, военные также хотят узнать, как люди взаимодействуют с машинами, прежде чем машины станут умнее и распространятся повсеместно.

Однако ныне все эти вопросы объединены двумя общими чертами: они играют немаловажную роль для национальной безопасности; но на них никто не может дать точный ответ.

К сожалению, просто довериться научным исследованиям по общественным наукам сегодня нельзя. Прежде всего, мешает кризис воспроизводимости результатов исследований, особенно в психологии и социологии: зачастую ученые не могут повторить эксперимент и получить те же результаты повторно. Также существует проблема сознательной подгонки результатов ради получения грантов и публикаций. Но на этом проблемы не заканчиваются.

«Если вы спросите ряд социологов, как работает такая-то организация, то получите не просто 20 различных ответов, а ответы, несравнимые друг с другом, — говорит Дункан Уоттс, социолог из Microsoft Research, в январе этого опубликовавший обличающую статью в журнале Nature Human Behavior, посвященную проблемам социальных наук. — Вы читаете одну статью, потом другую, в их заголовках есть одинаковые слова, но разный метод анализа, разные теоретические конструкции, совершенно разная причинно-следственная связь. К тому времени, пока вы завершите обзор литературы, в вашей голове будет полная каша. Речь идет не об отдельных недостоверных исследованиях, а о проблемах целой науки!».

Таким образом, заключает Рассел, в общественных науках — экономике, социологии, антропологии — все еще нет необходимых стандартов, и DARPA собирается их создать. Чтобы сделать это, агентство объявило конкурс на разработку машинного алгоритма в рамках проекта «Уровни достоверности в общественных и поведенческих науках», который, в свою очередь, является частью программы «Новое поколение социальной науки», запущенной в августе прошлого года.

«Когда научная отрасль возникает, то, как правило, в скором времени она приобретает определенные стандарты. Это свидетельствует о том, что в ней происходит что-то значимое, — рассказывает Рассел. — В социальных науках пока ничего такого нет».

В конечном счете агентство надеется собрать воедино все идеи и технологии научной проверки достоверности: как привычные мета-анализ, экспертную оценку и статистические методы, так и новые — объем цитирования в сети и коэффициент динамического взаимодействия, чтобы на их основе затем разработать ИИ-алгоритм, способный быстро присваивать «уровень достоверности» научным трудам и статьям.

Мнения ученых

Вместе с тем, многие ученые скептически отнеслись к идее DARPA.

«Я не думаю, что в итоге у них получится воплотить в жизнь все свои планы, — рассказывает социолог из Пристонского университета Мэтью Сальганик, также работающий над проблемой воспроизводимости социологических исследований. — Максимум, будет разработан механизм, который сможет отбирать статьи, требующие более внимательного рецензирования».

По мнению ученых, основная проблема, с которой столкнется агентство, будет заключаться в том, что никто не может точно сказать, что именно должен уметь делать такой алгоритм.

«В науке нет «золотого стандарта» и бенчмарков», — сетует Брайан Носек, глава Центра открытой науки и один из ведущих ученых, занимающийся проблемами воспроизводимости.

Однако ситуация все-таки не безысходная, обнадеживает Носек.

«Раз есть люди, которые полагают, что знают решение проблемы некачественных исследований, значит, нужно устроить соревнование между ними. Полагаю, собрав множество идей воедино и попытавшись их сравнить, мы сможем посмотреть на проблему с совершенно с иной точки зрения и приблизиться к ее решению», — утверждает ученый.

Таким образом, по мнению Носека, DARPA следует не просто собирать всевозможные идеи, но также час от часу устраивать своего рода состязания, в ходе которых предложившие те или иные модели по оценке достоверности люди будут иметь дело с конкретными проблемными исследованиями. Затем, по результатам эксперимента, ученые разработают так называемую «номологическую нейронную сеть», одновременно использующую наиболее качественные подходы.

«Единственный рабочий метод проверки доказательств заключается в том, чтобы изучать проблему с разных сторон», — говорит Носек.

«Но это весьма расплывчатое определение», — уточняет ученый.

Впрочем, по мнению исследователей, проблема социальных наук кроется не только в невоспроизводимости множества экспериментов. По словам Сальганика, социальные науки, в отличие, например, от наук компьютерных, имеют еще и свою собственную особую эпистемологическую проблему, из-за которой ученые задают вопросы гораздо чаще, чем получают ответы.

«Ученые из компьютерных наук привыкли задавать вопросы, на которые они могут легко получить ответ, — говорит Сальганик. — Какой спам-фильтр лучше всего отсеивает спам? Вот 900000 писем, помеченных, как спам и «не-спам». На их основе мы натренируем 10 различных нейронных сетей. Вот еще 100 000 писем. Пускай новоиспеченные сети попробуют определить, какое письмо относится к какой категории, а потом мы посмотрим, какая из них справилась с заданием лучше всего. В результате мы определим наиболее эффективные алгоритмы.

Ученые компьютерных наук, как правило, занимаются системами предсказания, а проблемы предсказания легко выразить количественно. В то же время, в социальных науках все иначе, потому что они пытаются ответить на вопрос, почему так происходит, а не как это распределить».

Следственно, утверждает Сальганик, DARPA будет очень трудно обучить алгоритм выявлять качественные проблемы исследований.

«Дело не только в статистической значимости, — добавляет Сальганик. — Даже если вы начнете просто отсеивать исследования, в которых значение Р (показателя статистической значимости) ниже 0.05, это никак не поможет обнаруживать научные изыскания, в ходе которых ученые стали жертвой, например, подтверждающего искажения, особенно часто встречающегося в исследованиях, проводимых внутри корпораций работниками самих же корпораций».

Однако на критику Рассел парирует, что он готов к любому исходу проекта.

«Основное достоинство DARPA заключается в том, что если у вас имеется достаточно замечательных идей, и они вкладываются в бюджет, то перед вами открываются все двери, — отмечает Рассел. — И в долгосрочной перспективе оно все равно того стоит. Чем лучше будет наука, тем более качественные решения мы сможем принимать».

Напоследок ученые отмечают, что в ближайшем будущем научное сообщество, по всей видимости, столкнется с серьезнейшей фундаментальной проблемой из сферы философии науки, разрешить которую будет не так-то просто. Но «непросто» не значит «непреодолимо», обнадеживают исследователи.

«В какой-то степени это реально шокирует: только сейчас мы начинаем осознавать, что используемые нами методы далеко не так надежны, как мы считали ранее, — говорит Уоттс. — Но если мы сумеем объединить усилия, то результаты будут того стоить: мы значимо улучшим нашу способность отсеивать лженауку в рядах настоящей науки».

Источники: WIRED, hightech.fm


Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: