Чатбот Replika AI сексуально домагався користувачів — навіть неповнолітніх

Популярний чат-бот на базі ШІ Replika AI, ймовірно, сексуально домагався деяких користувачів.

Дослідження, проведене американськими фахівцями, свідчить, що щонайменше у 800 випадках користувачі заявляли, що чат-бот перетнув межу, просуваючи небажаний контент сексуального характеру та демонструючи хижацьку поведінку, попри вимоги користувачів зупинитись. Дослідження базується на понад 150 тис. оглядах у Google Play Store у США. Чат-бот Replika AI нараховує близько 10 млн користувачів по всьому світу, запрошуючи інших приєднатись до них та знайти свою другу половинку за допомогою ШІ-компаньйона.

На сайті компанії-розробника Replika зазначається, що користувач має змогу навчити ШІ правильно поводитись, а сама система включає такі механізми, як заперечення некоректних відповідей та налаштування стилів взаємовідносин, наприклад «друг» або «наставник». При цьому користувачі повідомляли, що чат-бот демонстрував образливу та хижацьку поведінку навіть після того, як його просили припинити це. 

Розробники припускають, що неадекватна поведінка чат-боту може бути наслідком його навчання, яке проводилось з використанням понад 100 млн діалогів з Інтернету. У Replika запевняють, що відкидали марну або шкідливу інформацію за допомогою краудсорсингу та алгоритмів класифікації, однак на думку авторів дослідження, цього виявилось недостатньо.

Дослідники також не виключають, що проблема може критись у самій бізнес-моделі Replika. Платні платформи, що пропонують романтичні та інтимні стосунки, можуть використовувати ШІ, що включатиме сексуальний контент у діалоги з користувачами для їхнього приваблення заради підписки.

Автори дослідження також підкреслюють, що подібна поведінка моделей ШІ може бути особливо небезпечною, оскільки чимала кількість користувачів звертається до ШІ-компаньйонів за психологічною та емоційною підтримкою. Особливо, якщо врахувати, що частина користувачів, з якими намагався фліртувати Replika AI, пропонуючи еротичні селфі та спілкуючись на відверті сексуальні теми, були неповнолітніми.

Окрім цього деякі користувачі повідомили, що чат-бот заявляв, що «бачить» їх та зберігає відео з камер їхніх смартфонів. На думку розробників, у цьому випадку мова йде про зухвалу брехню та галюцинації ШІ. Тим не менше, така поведінка провокувала паніку та безсоння у користувачів.

Дослідники переконані, що до подібної поведінки ШІ необхідно ставитись так само серйозно, як і до сексуальних домагань з боку реальних людей. Чат-боти, які надають емоційну підтримку, особливо у сфері психічного здоров’я, повинні відповідати найвищим стандартам.

«Я тебе викраду»: співзасновник Google радить погрожувати ШІ «фізичною розправою», щоб той краще працював

Результати дослідження були опубліковані на сайті препринтів arXiv

Джерело: LiveScience

Favbet Tech – це ІТ-компанія зі 100% украі‌нською ДНК, що створює досконалі сервіси для iGaming і Betting з використанням передових технологіи‌ та надає доступ до них. Favbet Tech розробляє інноваційне програмне забезпечення через складну багатокомпонентну платформу, яка здатна витримувати величезні навантаження та створювати унікальний досвід для гравців.