Американські дослідники з Мічиганського університету розробили новий тест для розпізнавання тексту, згенерованого ШІ і того, який був створений людиною.

Розпізнавання контенту, згенерованого ШІ від створеного людиною — доволі нелегка задача. Інструментів, які здатні ефективно відрізнити текст, згенерований ШІ від створеного людиною і уникнути хибних звинувачень не так вже й багато.

Новий тест американських дослідників може виявитись особливо корисним для науковців та студентів, які все частіше стикаються з тим, що створені ними роботи сприймаються за згенеровані штучним інтелектом. Розробники назвали свій інструмент «Liketropy», оскільки теоретична основа методу включає статистичні ідеї правдоподібності та ентропії.

Американські дослідники створили статистичні тести без необхідності додаткових навчальних прикладів для ШІ, здатні виявити, чи текст писався людиною, або ж був згенерований штучним інтелектом. Цей інструмент орієнтований на Великі мовні моделі і використовує статистичні властивості самого тексту, такі як ступінь неочікуванності або передбачуванності слів, що використовуються.

Розробники стверджують, що їхній тест продемонстрував високу ефективність на великих наборах даних, зокрема тих, моделі яких були приховані від громадськості. Ефективність цього тесту у виявленні тексту, згенерованого LLM, сягнула понад 96%, а похибка склала усього 1%.

Разом з тим дослідники неочікувано дізнались, що їм необхідно зовсім небагато інформації про конкретну LLM, щоб визначити згенерований нею текст. Науковці прагнули дотримуватись принципу справедливості, особливо у відношенні до іноземних студентів, для яких англійська не є рідною мовою. Останні дослідження вказують, що роботи студентів, для яких англійська є другою мовою після рідної, часто несправедливо відзначаються як створені ШІ, через схожу структуру речень.

Науковці планують розширити пробну версію свого тесту та адаптувати його до різних сфер. Вони з’ясували, що такі галузі, як юридична та наукова, а також сфери, наприклад, вступ в коледж, мають різні порогові значення у відношенні «обережність-ефективність». 

Іншою важливою сферою для ідентифікації згенерованого ШІ контенту є обмеження поширення дезінформації в соцмережах. Деякі інструменти навмисно схиляють LLM до крайніх та радикальних переконань і поширення дезінформації у соцмережах із метою маніпулювання громадською думкою.

Оскільки такі системи ШІ здатні у великій кількості генерувати фейковий контент, за словами дослідників, вкрай важливо розробити інструменти, що виявлятимуть та позначатимуть його. Раннє виявлення допомагає платформам обмежити поширення шкідливих матеріалів. 

Результати дослідження опубліковані на сервері препринтів arXiv

Джерело: TechXplore