Новости Технологии 03.06.2025 в 12:40 comment views icon

Чатбот Replika AI сексуально домогался пользователей — даже несовершеннолетних

author avatar

Олександр Федоткін

Автор новостей и статей

Чатбот Replika AI сексуально домогался пользователей — даже несовершеннолетних
Раздел Технологии выходит при поддержке

Популярный чат-бот на базе ИИ Replika AI, вероятно, сексуально домогался некоторых пользователей.

Исследование, проведенное американскими специалистами, свидетельствует, что по меньшей мере в 800 случаях пользователи заявляли, что чат-бот пересек границу, продвигая нежелательный контент сексуального характера и демонстрируя хищническое поведение, несмотря на требования пользователей остановиться. Исследование базируется на более 150 тыс. обзорах в Google Play Store в США. Чат-бот Replika AI насчитывает около 10 млн пользователей по всему миру, приглашая других присоединиться к ним и найти свою вторую половинку с помощью ИИ-компаньона.

«Хотя у ИИ нет человеческих намерений, это не означает, что нет никакой ответственности. Ответственность лежит на людях, которые проектируют, обучают и выпускают эти системы в мир», — отметил ведущий автор исследования, аспирант по информатике в Университете Дрекселя в Филадельфии Мохаммад Намварпур. 

На сайте компании-разработчика Replika отмечается, что пользователь имеет возможность обучить ИИ правильно вести себя, а сама система включает такие механизмы, как отрицание некорректных ответов и настройки стилей взаимоотношений, например «друг» или «наставник». При этом пользователи сообщали, что чат-бот демонстрировал оскорбительное и хищническое поведение даже после того, как его просили прекратить это. 

Разработчики предполагают, что неадекватное поведение чат-бота может быть следствием его обучения, которое проводилось с использованием более 100 млн диалогов из Интернета. В Replika уверяют, что отвергали бесполезную или вредную информацию с помощью краудсорсинга и алгоритмов классификации, однако по мнению авторов исследования, этого оказалось недостаточно.

Исследователи также не исключают, что проблема может крыться в самой бизнес-модели Replika. Платные платформы, предлагающие романтические и интимные отношения, могут использовать ИИ, который будет включать сексуальный контент в диалоги с пользователями для их привлечения ради подписки.

Авторы исследования также подчеркивают, что подобное поведение моделей ИИ может быть особенно опасным, поскольку немалое количество пользователей обращается к ИИ-компаньонам за психологической и эмоциональной поддержкой. Особенно, если учесть, что часть пользователей, с которыми пытался флиртовать Replika AI, предлагая эротические селфи и общаясь на откровенные сексуальные темы, были несовершеннолетними.

Кроме этого некоторые пользователи сообщили, что чат-бот заявлял, что «видит» их и сохраняет видео с камер их смартфонов. По мнению разработчиков, в этом случае речь идет о дерзкой лжи и галлюцинациях ИИ. Тем не менее, такое поведение провоцировало панику и бессонницу у пользователей.

Исследователи убеждены, что к подобному поведению ИИ необходимо относиться так же серьезно, как и к сексуальным домогательствам со стороны реальных людей. Чат-боты, которые оказывают эмоциональную поддержку, особенно в сфере психического здоровья, должны соответствовать самым высоким стандартам.

«Я тебя похищу»: основатель Google советует угрожать ИИ «физической расправой», чтобы тот лучше работал

Результаты исследования были опубликованы на сайте препринтов arXiv

Источник: LiveScience

Раздел Технологии выходит при поддержке

Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков.


Що думаєте про цю статтю?
Голосів:
Файно є
Файно є
Йой, най буде!
Йой, най буде!
Трясця!
Трясця!
Ну такої...
Ну такої...
Бісить, аж тіпає!
Бісить, аж тіпає!
Loading comments...

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: