Стартап ElevenLabs опублікував свою ШІ-технологію імітації голосу у відкритому доступі, на що одразу звернули увагу інтернет-троллі. Соцмережі заполонили аудіодіпфейки з голосами знаменитостей, які висловлюють трансфобні й расистські заяви та закликають до насильства.

Вперше приклади використання таких голосових діпфейків знайшли у соцмережі 4chan. Записи, згенеровані штучним інтелектом, звучать голосами знаменитостей: акторка Емма Вотсон там нібито цитує “Мою боротьбу” Адольфа Гітлера, а фейковий голос політичного коментатора Бена Шарпіо робить расистські зауваження конгресвумен Александрії Окасіо-Кортес. 

На одному із записів чийсь голос каже “права трансгендерів — це права людини”, після чого починає задихатися, ніби його душать. В іншому Рік Санчес із мультсеріалу “Рік і Морті” каже:

“Я поб’ю свою дружину, Морті. Я збираюся побити свою чортову дружину, Морті. Я збираюся забити її до смерті, Морті”.

(Джастін Ройланд, який озвучує Санчеса, нещодавно постав перед судом за звинуваченням у домашньому насильстві).

На 4chan також розмістили публікації про те, як використати ШІ-технологію ElevenLabs: знайти необхідний зразок відео для навчання моделі або обійти “кредитні” обмеження на генерування аудіо. 

Журналісти The Verge випробували ШІ-інструмент ElevenLabs та за лічені секунди змогли отримати клони голосів, які могли говорити про що завгодно: від еротичних закликів, насильницьких заяв до проявів расизму й трансфобії. В одному з аудіоприкладів фейковий голос Джо Байдена змусили оголосити про вторгнення в Росію. 

ElevenLabs пропонує свою програму як спосіб швидкого дубляжу для серіалів, кіно чи озвучування аудіокниг, та попереджає, що якість записів потребує незначного редагування. Після потоку образливих заяв, які проголошують фейкові голоси знаменитостей, компанія заявила, що помітила “збільшення кількості випадків неправильного використання клонування голосу” і буде вивчати шляхи пом’якшення цих проблем. 

Crazy weekend – thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!

— ElevenLabs (@elevenlabsio) January 30, 2023

Стартап стверджує, що може відстежити будь-яке згенероване аудіо до користувача та “вивчить заходи безпеки, такі як перевірка особи й ручна перевірка кожного запиту на клонування голосу”. На момент публікації програмне забезпечення компанії все ще є у вільному доступі без будь-яких обмежень щодо створеного вмісту. 

Діпфейки для підпису. Нейромережа миттєво генерує рукописний текст — використовуючи базу даних з почерками понад 200 людей

Джерело: The Verge, Vice