Израильские исследователи из Университета им. Бар-Илана разработали инновационный метод обработки видео OmnimatteZero, упрощающий отделение объектов от фона без необходимости предварительного обучения и оптимизации.
Метод разработан группой исследователей из кафедры компьютерных наук под руководством доктора Двира Самуэля и профессора Гала Чечика. Исследование было посвящено отделению объектов или фигур от фона в видео с сохранением таких сложных элементов, как волосы, листья, тени, блики, дым или рябь на воде.
Современные методы разделения слоев в видео полагаются на модели искусственного интеллекта, которые должны учиться на миллионах примеров и сложных методах оптимизации. Результаты исследования группы израильских ученых демонстрируют, что тех же результатов можно достичь со значительно меньшими усилиями, вычислительными, финансовыми и энергетическими затратами.
«В системах разложения видео алгоритм должен определять эффекты, которые объект накладывает на сцену, а затем удалять или изымать их таким образом, чтобы они выглядели естественно. До сих пор каждый метод требовал миллионов примеров для обучения модели, а также очень большой вычислительной мощности и энергии. Даже после того, как модель была полностью обучена и готова к использованию, ее запуск для достижения желаемого результата все еще мог занять несколько минут для нескольких секунд видео», — отмечает Двор Самуэль.
Такой подход позволяет использовать контент повторно. Например лебедя можно изъять из озера вместе с его отображением и осторожно интегрировать в новый фон, а само озеро без лебедя использовать как фон для другой сцены.
Результаты исследования убедительно доказали, что для разделения слоев в видео не нужны специализированные модели на базе ИИ и чрезвычайно высокие вычислительные мощности. Для этого метода вполне достаточно имеющихся моделей генерации видео, таких как WAN или Veo 3. Исследование демонстрирует, как генеративные видео-модели могут быть использованы для обнаружения эффектов, создаваемых объектами, а также для удаления, извлечения и повторной вставки этих объектов и их эффектов в другие видео в режиме реального времени.
Такой подход будет интересен для видео-редакторов, дизайнеров, создателей контента, рекламодателей и исследователей из области искусственного интеллекта. Несколько университетских команд по всему миру сейчас работают над усовершенствованием OmnimatteZero. Следующим направлением исследований доктора Сэмюэля станет синхронизация звука.
Результаты исследования опубликованы на сервере препринтов arXiv
Источник: TechXplore
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: