Як і нова ШІ-функція ElevenLabs, застосунок дозволяє перекладати аудіо зі збереженням голосу та синхронізацією губ.
ШІ-стартап з Нью-Йорку, якому належить відеоредактор Captions, запустив безплатний застосунок для пристроїв iOS, який дозволить озвучувати чи перекладати аудіо на 28 мов, включаючи французьку, хінді, іспанську, італійську, португальську, японську тощо. Окрім іноземних, Lipdub додав такі варіанти, як техаський сленг і мову зумерів, а також піратську та дитячу мови.
Щоб скористатися програмою треба записати відео тривалістю до 1 хвилини на свій телефон, так, щоб добре було видно обличчя. Після завантаження ролика, застосунку знадобиться кілька хвилин, щоб перекласти аудіосупровід.
На демонстрації показано, що Lipdub також може змінювати рухи губ відповідно до вибраної мови. Однак часом між звуком і рухом губ виникає певна затримка.
«Сподіваємося, що технологія Lipdub усуне мовні бар’єри та, зрештою, дозволить більшій кількості людей почути історії — історії, які інакше можуть бути втрачені під час перекладу», — каже генеральний директор Captions Гаурав Місра.
Місра сказав, що Captions чітко позначає відео, зроблені за допомогою Lipdub, як згенеровані ШІ.
У компанії також вважають, що у майбутньому генеративний штучний інтелект зможе забезпечувати переклад у реальному часі для трансляцій або відеоконференцій.
«Уявіть собі, що ви розмовляєте в Zoom з людиною, яка володіє іншою мовою, але вас чудово розуміє», — сказав Місра.
ШІ-стартап Captions, в якому працює 25 осіб, найбільше відомий створенням однойменної програми, що додає автоматичні субтитри на відео за допомогою технології перетворення мови в текст OpenAI. Компанія стверджує, що цим продуктом наразі користуються понад 100 000 людей щодня для створення понад 2 мільйонів відео щомісяця.
Captions заснована у 2021 році Гауравом Місрою, який очолював інженерний відділ Snap. У червні компанія отримала $25 мільйонів у раунді серії B під керівництвом Kleiner Perkins за участі Sequoia Capital, Andreessen Horowitz (a16z) і SV Angel. На сьогодні стартап зібрав $40 мільйонів фінансування.
У червні YouTube оголосив, що тестує ШІ-інструмент, який дозволить користувачам автоматично дублювати свої відео іншими мовами, а днями платформа для генерації голосу ElevenLabs випустила власний інструмент дубляжу з підтримкою 29 мов, у тому числі й української. За даними Rest of World, компанії-постачальники послуг дубляжу заробляють мільйони доларів, перекладаючи контент для таких популярних користувачів YouTube, як MrBeast.
Джерело: Axios, Techcrunch