Стартап ElevenLabs опубликовал свою ИИ-технологию имитации голоса в открытом доступе, на что сразу обратили внимание интернет-тролли. Соцсети заполнили аудиодипфейки с голосами знаменитостей, которые высказывают трансфобные или расистские заявления и призывают к насилию.
Впервые примеры использования таких голосовых дипфейков нашли в соцсети 4chan. Записи, сгенерированные искусственным интеллектом, звучат голосами знаменитостей: актриса Эмма Уотсон там якобы цитирует «Мою борьбу» Адольфа Гитлера, а фейковый голос политического комментатора Бена Шарпио делает расистские замечания конгрессвумен Александрии Окасио-Кортес.
На одной из записей чей-то голос говорит «права трансгендеров — это права человека», после чего начинает задыхаться, словно его душат. В другом Рик Санчес из мультсериала «Рик и Морти» говорит:
«Я побью свою жену, Морти. Я собираюсь избить свою чертову жену, Морти. Я собираюсь избить ее до смерти, Морти».
(Джастин Ройланд, озвучивающий Санчеса, недавно предстал перед судом по обвинению в домашнем насилии).
На 4chan также разместили публикации о том, как использовать ИИ-технологию ElevenLabs: найти необходимый образец видео для обучения модели или обойти «кредитные» ограничения на создание аудио.
Журналисты The Verge опробовали ИИ-инструмент ElevenLabs и в считанные секунды получили клоны голосов, которые могли говорить о чем угодно: от эротических призывов, насильственных заявлений до проявлений расизма и трансфобии. В одном из аудиопримеров фейковый голос Джо Байдена заставили объявить о вторжении в Россию.
ElevenLabs предлагает свою программу как способ быстрого дубляжа для сериалов, кино или озвучивания аудиокниг, и предупреждает, что качество записей требует незначительного редактирования. После потока оскорбительных заявлений, провозглашенных фейковыми голосами знаменитостей, компания заявила, что заметила «увеличение количества случаев неправильного использования клонирования голоса» и будет изучать пути смягчения этих проблем.
Стартап утверждает, что может отследить любое сгенерированное аудио пользователя и «изучит меры безопасности, такие как проверка личности и ручная проверка каждого запроса на клонирование голоса». На момент публикации программное обеспечение компании все еще находится в свободном доступе без каких-либо ограничений по созданному содержимому.