Искусственный интеллект Video LDM от NVIDIA позволяет генерировать видео из коротких и простых текстовых описаний. Сейчас доступно создание коротких роликов (4,7 с) в режиме до 2048х1280 с 24 FPS.
Механизм Latent Diffusion Models позволяет создавать видео из текста без использования мощного «железа». Для его работы используется движок Stable Diffusion. Принцип LDM состоит в создании видео из отдельных изображений (и тренировке ИИ на них): ролик на самом деле является последовательностью сгенерированных картинок.
![1](https://itc.ua/wp-content/uploads/2023/04/video_ldm_pipeline-770x521.png)
![1](https://itc.ua/wp-content/uploads/2023/04/video_ldm_stack-770x490.png)
NVIDIA разместила на своем сайте множество примеров работ Video LDM, включая экспериментальные более длинные ролики. Публичная версия нейросети пока недоступна, компания не раскрывает сроков релиза.
Источник: NVIDIA
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: