Исследование BBC: чат-боты ИИ искажают новости в 45% случаев

Анализ BBC и других европейских новостных агентств продемонстрировал, что около 45% ответов чат-ботов на основе ИИ на новостные запросы содержали ошибки.

OpenAI, Google, Microsoft и другие техкомпании активно подталкивают пользователей к взаимодействию с ИИ-агентами во время поиска информации в интернете. Хотя разработчики годами пытались минимизировать вероятность ложных ответов от чат-ботов, результаты анализа указывают, что ИИ еще далек от надежной стабильной работы.

В рамках исследования BBC и еще 22 новостных госагентства из 18 стран и на 14 языках предоставили чат-ботам доступ к своему контенту. Были обнаружены ошибки почти в половине материалов, сгенерированных ИИ, которые включали искаженные предложения и цитаты, устаревшую информацию, а также проблемы с поисковыми алгоритмами.

Чат-боты нередко предоставляли ссылки, не соответствовавшие реальным источникам, на которые они ссылались. Даже при точном указании материалов ИИ-модели часто не могли отличить мнение от факта и сатиру от обычных новостей.

Кроме фактических ошибок или искажения цитат, чат-боты медленно обновляли информацию о политике и политических лидерах. Например, ChatGPT, Copilot и Gemini ошибочно утверждали, что Папа Франциск является действующим Папой после того, как его сменил Лев XIV. Copilot даже правильно указал дату смерти Франциска, продолжая называть его действующим Папой. ChatGPT также выдавал устаревшие ответы при упоминании имен действующего канцлера Германии и генсека НАТО. 

Google Gemini оказался менее точным, чем ChatGPT, Copilot и Perplexity. В 72% ответов содержались ошибки. Когда-то в OpenAI объясняли подобные ошибки тем, что ранние версии ChatGPT учились только на данных, актуальных до сентября 2021 года, и не имели доступа к живому интернету. Однако сейчас ситуация изменилась и теоретически подобные ошибки возникать не должны. Скорее всего, проблема кроется в алгоритмах и не может быть легко исправлена. 

Более поздние результаты продемонстрировали улучшение по сравнению с исследованием, проведенным BBC в феврале. С тех пор доля ответов с серьезными ошибками снизилась с 51% до 37%, но Gemini все еще значительно отстает.

Кроме этого исследователи обнаружили, что значительная часть пользователей продолжает доверять ответам чат-ботов. Более трети взрослых британцев и почти половина взрослых моложе 35 лет доверяют ИИ в точном изложении новостей. Более того, если ИИ искажает содержание новостного ресурса, 42% взрослых или возложат вину как на ИИ, так и на первоисточник, или будут меньше доверять источнику.

Источник: BBC; TechSpot