В прошлом году Stability AI привлекла внимание своим генератором изображений, теперь компания планирует сделать то же самое с видео.
Stability AI выпустила Stable Video Diffusion — новый бесплатный инструмент, анимирующий любое неподвижное изображение, превращая его в короткое видео за несколько секунд.
Stable Video Diffusion доступна в предварительном просмотре и состоит из двух моделей:
- SVD — преобразует изображение в видео из 14 кадров
- SVD-XT — преобразует изображение в видео из 25 кадров
Обе могут работать на разных скоростях от 3 до 30 кадров в секунду и выводить короткие (обычно продолжительностью 2-4 секунды) видеоклипы MP4 с разрешением 576×1024.
Stability AI подчеркивает, что модель еще «ранняя» и в основном предназначена для исследований.
«Модель на данном этапе не предназначена для реальных или коммерческих приложений. Ваши мнения и отзывы о безопасности и качестве важны для совершенствования этой модели для ее окончательного выпуска».
Stability AI также работает над моделью преобразования текста в видео с помощью коротких подсказок.
Исследовательская статья Stable Video Diffusion не раскрывает источник обучающих наборов данных моделей – просто пишут, что исследователи использовали «большой набор видеоданных, включающий примерно 600 миллионов образцов».
Несколько дней назад идентичный инструмент для анимации изображений запустил стартап Runway, сотрудничавший со Stability AI в разработке Stable Diffusion. Похоже, компании из-за внутренних конфликтов выпустили один и тот же продукт под разными названиями — Stability AI после запуска генератора изображений ни словом не оговорилась о стартапе, присвоив себе все заслуги.