Depositphotos
В мире резко возросло количество некачественных научных работ, написанных с помощью языковых моделей ИИ, и это, по словам опытных исследователей, затрудняет выявление качественных исследований и подрывает доверие к отрасли. Все чаще молодые авторы штампуют десятки публикаций в год, пытаясь быстро получить академическую репутацию.
Профессор компьютерных наук Калифорнийского университета в Беркли Хани Фарид в комментарии The Guardian назвал ситуацию «бешеным хаосом» и признал, что уже советует студентам обходить эту сферу стороной. Дискуссию вызвал его сообщение в LinkedIn, где он раскритиковал исследователя Кевина Чжу, который в этом году заявил о публикации 113 технических работ.
«Я не могу внимательно прочитать 100 технических статей в год, поэтому представьте мое удивление, когда я узнал об авторе, который якобы участвовал в исследовании и написал более 100 технических статей в год. Я почти уверен, что все это, сверху донизу, просто кодирование вибрации», — сказал Фарид в интервью The Guardian.
Чжу недавно получил степень бакалавра в UC Berkeley и запустил образовательную программу Algoverse для школьников и студентов, где слушатели платят $3 325 за 12-недельный онлайн-курс и подают работы на конференции. Многие из них стали его соавторами. Значительную часть этого массива в частности приняла конференция NeurIPS, одна из крупнейших в сфере, которая в этом году получила более 21 500 представлений — более чем вдвое больше, чем в 2020-м. Поэтому организаторы привлекают к рецензированию аспирантов. На текущем мероприятии представлено аж 89 работ Чжу.
«Так много молодых людей хотят пойти в AI. Это просто хаос. Ты не можешь успевать, не можешь публиковаться, не можешь делать хорошую работу, не можешь быть вдумчивым», — говорит Фарид.
Фарид назвал работы Чжу и его команды «катастрофой» и добавил, что автор не мог физически внести осмысленный вклад во все эти исследования. По словам Фарида, проблема в том, что именно исследования искусственного интеллекта больше всего страдает от этого избытка ИИ-контента. Он предупреждает, что отрасль буквально тонет в собственном продукте, а новые исследования теряются среди машинного потока.
«У среднего читателя нет ни единого шанса попытаться понять, что творится в научной литературе. Соотношение сигнала к шуму фактически равно одному. Я едва могу посетить эти конференции и разобраться, что там, черт возьми, происходит», — подытожил Фарид.
Впрочем, на вопрос The Guardian об использовании языковых моделей Чжу ответил, что его команды применяют «стандартные инструменты производительности, такие как менеджеры ссылок, проверку правописания и иногда языковые модели для копирования или улучшения ясности».
В то же время критики напоминают, что ChatGPT и подобные модели до сих пор склонны придумывать источники, а иногда и вводить в заблуждение рецензентов. Зафиксированы случаи использования некорректных AI-диаграмм в рецензируемых статьях и даже скрытых фрагментов текста, которые авторы вставляют для манипулирования AI-рецензентами. Такие инструменты, как ChatGPT, склонны придумывать цитаты или создавать несуществующие источники, которые часто проходят через рецензирование даже в престижных журналах. Другие случаи — например, когда в рецензируемой работе использовали AI-сгенерированную диаграмму мыши с невозможно гигантскими половыми органами — заставляют сомневаться, существует ли там какой-то контроль вообще.
Источник: Futurism.com
Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.
Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.