Стартап ElevenLabs опубликовал свою ИИ-технологию имитации голоса в открытом доступе, на что сразу обратили внимание интернет-тролли. Соцсети заполнили аудиодипфейки с голосами знаменитостей, которые высказывают трансфобные или расистские заявления и призывают к насилию.
Впервые примеры использования таких голосовых дипфейков нашли в соцсети 4chan. Записи, сгенерированные искусственным интеллектом, звучат голосами знаменитостей: актриса Эмма Уотсон там якобы цитирует «Мою борьбу» Адольфа Гитлера, а фейковый голос политического комментатора Бена Шарпио делает расистские замечания конгрессвумен Александрии Окасио-Кортес.
На одной из записей чей-то голос говорит «права трансгендеров — это права человека», после чего начинает задыхаться, словно его душат. В другом Рик Санчес из мультсериала «Рик и Морти» говорит:
«Я побью свою жену, Морти. Я собираюсь избить свою чертову жену, Морти. Я собираюсь избить ее до смерти, Морти».
(Джастин Ройланд, озвучивающий Санчеса, недавно предстал перед судом по обвинению в домашнем насилии).
На 4chan также разместили публикации о том, как использовать ИИ-технологию ElevenLabs: найти необходимый образец видео для обучения модели или обойти «кредитные» ограничения на создание аудио.
Журналисты The Verge опробовали ИИ-инструмент ElevenLabs и в считанные секунды получили клоны голосов, которые могли говорить о чем угодно: от эротических призывов, насильственных заявлений до проявлений расизма и трансфобии. В одном из аудиопримеров фейковый голос Джо Байдена заставили объявить о вторжении в Россию.
ElevenLabs предлагает свою программу как способ быстрого дубляжа для сериалов, кино или озвучивания аудиокниг, и предупреждает, что качество записей требует незначительного редактирования. После потока оскорбительных заявлений, провозглашенных фейковыми голосами знаменитостей, компания заявила, что заметила «увеличение количества случаев неправильного использования клонирования голоса» и будет изучать пути смягчения этих проблем.
Crazy weekend — thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!
— ElevenLabs (@elevenlabsio) January 30, 2023
Стартап утверждает, что может отследить любое сгенерированное аудио пользователя и «изучит меры безопасности, такие как проверка личности и ручная проверка каждого запроса на клонирование голоса». На момент публикации программное обеспечение компании все еще находится в свободном доступе без каких-либо ограничений по созданному содержимому.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: