Торік Stability AI привернула увагу своїм генератором зображень, тепер компанія планує зробити те ж саме із відео.
Stability AI випустила Stable Video Diffusion — новий безплатний інструмент, що анімує будь-яке нерухоме зображення, перетворюючи його на коротке відео за кілька секунд.
Наразі Stable Video Diffusion доступна у попередньому перегляді й складається з двох моделей:
Обидві можуть працювати на різних швидкостях від 3 до 30 кадрів на секунду та виводити короткі (зазвичай тривалістю 2-4 секунди) відеокліпи MP4 з роздільною здатністю 576×1024.
Stability AI підкреслює, що модель ще «рання» і в основному призначена для досліджень.
«Модель на даному етапі не призначена для реальних або комерційних застосувань. Ваші думки та відгуки щодо безпеки та якості — важливі для вдосконалення цієї моделі для її остаточного випуску».
Stability AI також працює над моделлю перетворення тексту у відео за допомогою коротких підказок.
Дослідницька стаття Stable Video Diffusion не розкриває джерело навчальних наборів даних моделей — просто пишуть, що дослідники використали «великий набір відеоданих, що включає приблизно 600 мільйонів зразків».
Цікаво, що кілька днів тому ідентичний інструмент для анімації зображень запустив стартап Runway, який співпрацював зі Stability AI у розробці Stable Diffusion. Схоже, компанії через внутрішні конфлікти випустили один і той самий продукт під різними назвами — Stability AI після запуску генератора зображень ані словом не обмовилась про стартап, присвоївши собі усі заслуги.