Искусственный интеллект Video LDM от NVIDIA позволяет генерировать видео из коротких и простых текстовых описаний. Сейчас доступно создание коротких роликов (4,7 с) в режиме до 2048х1280 с 24 FPS.
Механизм Latent Diffusion Models позволяет создавать видео из текста без использования мощного «железа». Для его работы используется движок Stable Diffusion. Принцип LDM состоит в создании видео из отдельных изображений (и тренировке ИИ на них): ролик на самом деле является последовательностью сгенерированных картинок.
NVIDIA разместила на своем сайте множество примеров работ Video LDM, включая экспериментальные более длинные ролики. Публичная версия нейросети пока недоступна, компания не раскрывает сроков релиза.
Источник: NVIDIA