Библиотекари — и книги, которые они так ценят — уже ведут проигранную борьбу за наше внимание со всеми видами «техно-засорения» мозга. Теперь их положение усложняется еще больше: модели ИИ вроде CharGPT производят столько выдумок, что студенты и исследователи приходят в библиотеки и просят журналы, книги и записи, которых никогда не существовало.
В заявлении Международного Комитета Красного Креста (МККК), которое процитировал журнал Scientific American (SciAm), организация предупредила, что чат-боты (в основном это ChatGPT, Gemini и Copilot, но речь идет и о других) склонны придумывать архивные ссылки и «галлюцинировать», когда работают со списком источников для инфомации. Библиотекари, которые работают с исследователями, подтверждают, что это правда.
«Эти системы не проводят исследований, не проверяют источники и не осуществляют перекрестных проверок. Они генерируют новый контент на основе статистических закономерностей и поэтому могут производить вымышленные каталожные номера, описания документов или даже ссылки на платформы, которых никогда не существовало», — отмечает МККК, который содержит большую библиотеку и архив.
Руководитель направления работы с исследователями в Библиотеке Вирджинии Сара Фоллз рассказала SciAm, что выдумки ИИ тратят время библиотекарей, которых просят отыскать несуществующие записи. По ее словам, 15% запросов по электронной почте, которые получает ее библиотека, сейчас сгенерированы ChatGPT и содержат «галлюцинированные» первоисточники и вымышленные публикации. Сотрудникам бывает очень сложно доказать, что уникальной записи просто не существует. Другие библиотекари и ученые также заявляли о разрушительном влиянии ИИ на их работу.
«Сегодня утром я потратила время на поиск цитат для студентки. На третьей цитате (безрезультатно) я спросила, откуда взялся список, и студентка призналась, что это из ИИ-подборки Google», — написала пользовательница Bluesky, которая назвала себя библиотекарем из сферы научных коммуникаций.
Компании из сферы ИИ направили большое внимание на создание «рассудочных» моделей, которые якобы способны проводить масштабные исследования по нескольким подсказкам. OpenAI в феврале представила свой «агентный» инструмент для исследований, который, по утверждению компании, работает «на уровне аналитика». Тогда же OpenAI говорила, что он меньше галлюцинирует, чем другие модели, но признавала, что ему трудно отличать «авторитетную информацию от слухов». МККК предупредил об этом опасном недостатке в своем заявлении, и подчеркнул, что ИИ «не способен указать, что информации не существует» Вместо этого он придумывает детали, которые кажутся правдоподобными, но не имеют никакого отношения к архивным данным.
«Из-за количества созданного хлама, поиск записей, о существовании которых ты точно знаешь, но которые непросто найти, стал намного сложнее», — пожаловался один исследователь в Bluesky.
Несмотря на то, что галлюцинации ИИ давно известны и ни одна AI-компания не достигла значительного прогресса в их обуздании, технология продолжает создавать хаос в научных исследованиях. Ученых и исследователей — которые должны были бы быть максимально эмпирическими и критическими — все чаще ловят на представлении работ с вымышленными ИИ цитированиями. Иронично, но сама отрасль исследований искусственного интеллекта тонет в волне статей, написанных ИИ, потому что некоторые академики каждый год публикуют более сотни низкокачественных работ. И пока ничто не существует в вакууме — настоящие, написанные людьми источники и исследования начинают тонуть в этом шуме.
Источник: Futurism.com
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: