Lumiere AI — новый искусственный интеллект Google для создания реалистичных видео (продолжительностью до 5 секунд)

Lumiere может анимировать неподвижные изображения или их части с помощью текстовых подсказок.

Технология пока создает лишь короткие видео (продолжительностью до 5 секунд) — реалистичные или высококачественные, но не совсем реалистические, а также «клонирует» стиль заданного изображения на бесчисленное количество роликов (полезно для создания материалов определенного бренда).

Также Lumiere может убрать и заменить бывшего лишнюю деталь из вашего любимого видео.

В статье New Atlas отмечается, что «пространственно-временная архитектура U-netU-Net — сверточная нейросеть, предназначенная для сегментации изображений.» позволяет Lumiere создать всю длину видео сразу — в отличие от предыдущих моделей, часто создававших начальный и конечный кадр, а затем пытавшихся угадать, что будет между ними.

Пока это лишь исследовательский проект, который избавляет Google от необходимости агрессивно ограничивать систему с учетом авторского права, дезинформации, изображения обнаженного тела, конфиденциальности и т.д. — процесс, неизменно приводящий к более низкому качеству исходных данных в генеративных моделях.