Как и новая ИИ-функция ElevenLabs, приложение позволяет переводить аудио с сохранением голоса и синхронизацией губ.
ИИ-стартап из Нью-Йорка, которому принадлежит видеоредактор для субтитров Captions, запустил бесплатное приложение для устройств iOS, которое позволит озвучивать или переводить аудио на 28 языков, включая французский, хинди, испанский, итальянский, португальский, японский и т.д. Кроме иностранных, Lipdub добавил такие варианты, как техасский сленг и язык зумеров, а также пиратскую и детскую речь.
Чтобы воспользоваться программой, нужно записать видео продолжительностью до 1 минуты на свой телефон, так, чтобы хорошо было видно лицо. После загрузки ролика приложению понадобится несколько минут, чтобы перевести аудиосопровождение.
На демонстрации показано, что Lipdub также может менять движения губ в соответствии с выбранным языком. Однако иногда между звуком и движением губ возникает определенная задержка.
«Надеемся, что технология Lipdub устранит языковые барьеры и, в конце концов, позволит большему количеству людей услышать истории — истории, которые могут быть потеряны во время перевода», — говорит генеральный директор Captions Гаурав Мисра.
Мисра сказал, что Captions четко обозначает видео, сделанные с помощью Lipdub, как сгенерированные ИИ.
В компании также считают, что в будущем генеративный искусственный интеллект сможет обеспечивать перевод в реальном времени для трансляций или видеоконференций.
«Представьте себе, что вы разговариваете в Zoom с человеком, владеющим другим языком, но он вас прекрасно понимает», — сказал Мисра.
ИИ-стартап Captions, в котором работает 25 человек, наиболее известен созданием одноименной программы, добавляющей автоматические субтитры на видео с помощью технологии преобразования языка в текст OpenAI. Компания утверждает, что этим продуктом пользуются более 100 000 человек ежедневно для создания более 2 миллионов видео ежемесячно.
Captions основана в 2021 году Гауравом Мисрой, возглавлявшим инженерный отдел Snap. В июне компания получила $25 миллионов в раунде серии B под руководством Kleiner Perkins с участием Sequoia Capital, Andreessen Horowitz (a16z) и SV Angel. На сегодня стартап собрал $40 миллионов финансирования.
В июне YouTube объявил, что тестирует ИИ-инструмент, который позволит автоматически дублировать видео на других языках, а на днях платформа для генерации голоса ElevenLabs выпустила свой инструмент дубляжа с поддержкой 29 языков, в том числе и украинского. По данным Rest of World, компании-поставщики услуг дубляжа зарабатывают миллионы долларов, переводя контент для таких популярных пользователей YouTube, как MrBeast.
Источник: Axios, Techcrunch