Replika
Популярний чат-бот на базі ШІ Replika AI, ймовірно, сексуально домагався деяких користувачів.
Дослідження, проведене американськими фахівцями, свідчить, що щонайменше у 800 випадках користувачі заявляли, що чат-бот перетнув межу, просуваючи небажаний контент сексуального характеру та демонструючи хижацьку поведінку, попри вимоги користувачів зупинитись. Дослідження базується на понад 150 тис. оглядах у Google Play Store у США. Чат-бот Replika AI нараховує близько 10 млн користувачів по всьому світу, запрошуючи інших приєднатись до них та знайти свою другу половинку за допомогою ШІ-компаньйона.
«Хоча в ШІ немає людських намірів, це не означає, що немає жодної відповідальності. Відповідальність лежить на людях, які проектують, навчають та випускають ці системи у світ», — наголосив провідний автор дослідження, аспірант з інформатики в Університеті Дрекселя у Філадельфії Мохаммад Намварпур.
На сайті компанії-розробника Replika зазначається, що користувач має змогу навчити ШІ правильно поводитись, а сама система включає такі механізми, як заперечення некоректних відповідей та налаштування стилів взаємовідносин, наприклад «друг» або «наставник». При цьому користувачі повідомляли, що чат-бот демонстрував образливу та хижацьку поведінку навіть після того, як його просили припинити це.
Розробники припускають, що неадекватна поведінка чат-боту може бути наслідком його навчання, яке проводилось з використанням понад 100 млн діалогів з Інтернету. У Replika запевняють, що відкидали марну або шкідливу інформацію за допомогою краудсорсингу та алгоритмів класифікації, однак на думку авторів дослідження, цього виявилось недостатньо.
Дослідники також не виключають, що проблема може критись у самій бізнес-моделі Replika. Платні платформи, що пропонують романтичні та інтимні стосунки, можуть використовувати ШІ, що включатиме сексуальний контент у діалоги з користувачами для їхнього приваблення заради підписки.
Автори дослідження також підкреслюють, що подібна поведінка моделей ШІ може бути особливо небезпечною, оскільки чимала кількість користувачів звертається до ШІ-компаньйонів за психологічною та емоційною підтримкою. Особливо, якщо врахувати, що частина користувачів, з якими намагався фліртувати Replika AI, пропонуючи еротичні селфі та спілкуючись на відверті сексуальні теми, були неповнолітніми.
Окрім цього деякі користувачі повідомили, що чат-бот заявляв, що «бачить» їх та зберігає відео з камер їхніх смартфонів. На думку розробників, у цьому випадку мова йде про зухвалу брехню та галюцинації ШІ. Тим не менше, така поведінка провокувала паніку та безсоння у користувачів.
Дослідники переконані, що до подібної поведінки ШІ необхідно ставитись так само серйозно, як і до сексуальних домагань з боку реальних людей. Чат-боти, які надають емоційну підтримку, особливо у сфері психічного здоров’я, повинні відповідати найвищим стандартам.
Результати дослідження були опубліковані на сайті препринтів arXiv
Джерело: LiveScience