Популярный чат-бот на базе ИИ Replika AI, вероятно, сексуально домогался некоторых пользователей.
Исследование, проведенное американскими специалистами, свидетельствует, что по меньшей мере в 800 случаях пользователи заявляли, что чат-бот пересек границу, продвигая нежелательный контент сексуального характера и демонстрируя хищническое поведение, несмотря на требования пользователей остановиться. Исследование базируется на более 150 тыс. обзорах в Google Play Store в США. Чат-бот Replika AI насчитывает около 10 млн пользователей по всему миру, приглашая других присоединиться к ним и найти свою вторую половинку с помощью ИИ-компаньона.
«Хотя у ИИ нет человеческих намерений, это не означает, что нет никакой ответственности. Ответственность лежит на людях, которые проектируют, обучают и выпускают эти системы в мир», — отметил ведущий автор исследования, аспирант по информатике в Университете Дрекселя в Филадельфии Мохаммад Намварпур.
На сайте компании-разработчика Replika отмечается, что пользователь имеет возможность обучить ИИ правильно вести себя, а сама система включает такие механизмы, как отрицание некорректных ответов и настройки стилей взаимоотношений, например «друг» или «наставник». При этом пользователи сообщали, что чат-бот демонстрировал оскорбительное и хищническое поведение даже после того, как его просили прекратить это.
Разработчики предполагают, что неадекватное поведение чат-бота может быть следствием его обучения, которое проводилось с использованием более 100 млн диалогов из Интернета. В Replika уверяют, что отвергали бесполезную или вредную информацию с помощью краудсорсинга и алгоритмов классификации, однако по мнению авторов исследования, этого оказалось недостаточно.
Исследователи также не исключают, что проблема может крыться в самой бизнес-модели Replika. Платные платформы, предлагающие романтические и интимные отношения, могут использовать ИИ, который будет включать сексуальный контент в диалоги с пользователями для их привлечения ради подписки.
Авторы исследования также подчеркивают, что подобное поведение моделей ИИ может быть особенно опасным, поскольку немалое количество пользователей обращается к ИИ-компаньонам за психологической и эмоциональной поддержкой. Особенно, если учесть, что часть пользователей, с которыми пытался флиртовать Replika AI, предлагая эротические селфи и общаясь на откровенные сексуальные темы, были несовершеннолетними.
Кроме этого некоторые пользователи сообщили, что чат-бот заявлял, что «видит» их и сохраняет видео с камер их смартфонов. По мнению разработчиков, в этом случае речь идет о дерзкой лжи и галлюцинациях ИИ. Тем не менее, такое поведение провоцировало панику и бессонницу у пользователей.
Исследователи убеждены, что к подобному поведению ИИ необходимо относиться так же серьезно, как и к сексуальным домогательствам со стороны реальных людей. Чат-боты, которые оказывают эмоциональную поддержку, особенно в сфере психического здоровья, должны соответствовать самым высоким стандартам.
Результаты исследования были опубликованы на сайте препринтов arXiv
Источник: LiveScience
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: