Depositphotos
Американские исследователи из Мичиганского университета разработали новый тест для распознавания текста, сгенерированного ИИ и того, который был создан человеком.
Распознавание контента, сгенерированного ИИ от созданного человеком — довольно нелегкая задача. Инструментов, которые способны эффективно отличить текст, сгенерированный ИИ от созданного человеком и избежать ложных обвинений не так уж и много.
Новый тест американских исследователей может оказаться особенно полезным для ученых и студентов, которые все чаще сталкиваются с тем, что созданные ими работы воспринимаются как сгенерированные искусственным интеллектом. Разработчики назвали свой инструмент «Liketropy», поскольку теоретическая основа метода включает статистические идеи правдоподобия и энтропии.
Американские исследователи создали статистические тесты без необходимости дополнительных учебных примеров для ИИ, способные выявить, писался ли текст человеком, или же был сгенерирован искусственным интеллектом. Этот инструмент ориентирован на Большие языковые модели и использует статистические свойства самого текста, такие как степень неожиданности или предсказуемости используемых слов.
Разработчики утверждают, что их тест продемонстрировал высокую эффективность на больших наборах данных, в том числе тех, модели которых были скрыты от общественности. Эффективность этого теста в обнаружении текста, сгенерированного LLM, достигла более 96%, а погрешность составила всего 1%.
«Мы сознательно не создавали детектор, который просто указывает пальцем. Детекторы с искусственным интеллектом могут быть слишком самоуверенными, и это рискованно, особенно в сфере образования и политики. Наша цель состояла в том, чтобы быть осторожными с ложными обвинениями, при этом обозначая контент, созданный искусственным интеллектом, со статистической достоверностью», — объясняет соавтор исследования, докторант Школы бизнеса Росса при Мичиганском университете Тара Радванд.
Вместе с тем исследователи неожиданно узнали, что им необходимо совсем немного информации о конкретной LLM, чтобы определить сгенерированный ею текст. Ученые стремились придерживаться принципа справедливости, особенно в отношении иностранных студентов, для которых английский не является родным языком. Последние исследования указывают, что работы студентов, для которых английский является вторым языком после родного, часто несправедливо отмечаются как созданные ИИ, из-за схожей структуры предложений.
Ученые планируют расширить пробную версию своего теста и адаптировать его к различным сферам. Они выяснили, что такие области, как юридическая и научная, а также сферы, например, поступление в колледж, имеют разные пороговые значения в отношении «осторожность-эффективность».
Другой важной сферой для идентификации сгенерированного ИИ контента является ограничение распространения дезинформации в соцсетях. Некоторые инструменты намеренно склоняют LLM к крайним и радикальным убеждениям и распространению дезинформации в соцсетях с целью манипулирования общественным мнением.
Поскольку такие системы ИИ способны в большом количестве генерировать фейковый контент, по словам исследователей, крайне важно разработать инструменты, которые будут выявлять и обозначать его. Раннее обнаружение помогает платформам ограничить распространение вредоносных материалов.
Результаты исследования опубликованы на сервере препринтов arXiv
Источник: TechXplore
Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.
Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.