Система позволяет заменить голос актера искусственным, но тем самым по звучанию голосом, говорящим на другом языке.
ElevenLabs — это ИИ-стартап, предлагающий услугу клонирования голоса, позволяющую генерировать аудио с помощью нейросетей на основе загруженных образцов продолжительностью несколько минут. (Компания в начале года выложила свою технологию в открытом доступе, чем сразу воспользовались интернет-тролли — в соцсетях распространяли тогда фейковые голоса знаменитостей, говоривших обидные вещи, объявляли войны или цитировали Гитлера).
Сейчас сервис расширился новой ИИ-функцией, которая позволит перевести голос на аудио на более чем 20 разных языков, включая хинди, португальский, испанский, японский, украинский, польский и арабский — но законно и с разрешения. Этот инструмент предназначен для использования медиакомпаниями, педагогами и отдельными творцами.
ElevenLabs утверждает, что система сможет не только переводить «разговорный контент на другой язык за считанные минуты», но и создавать новые диалоги на целевой язык с помощью собственного голоса актера. Сообщается, что система способна поддерживать «эмоции и интонацию» базового диалога и передавать их в сгенерированный перевод.
«Это поможет аудитории наслаждаться любым контентом, независимо от языка, на котором они говорят», — говорит генеральный директор ElevenLabs Мати Станишевски. «И это означает, что создатели контента смогут легко и аутентично получить доступ к гораздо большей аудитории по всему миру».
Ранее и YouTube привлек ИИ для дубляжа аудио и ныне тестирует технологию с сотнями авторов. Функция доступна на английском, испанском и португальском языках, но список будет расширяться. По словам компании, они «работают над тем, чтобы переведенные звуковые дорожки звучали как голос автора, с большей выразительностью и синхронизацией». Запуск ИИ-дубляжа запланирован на 2024 год.
Источник: Engadget