Ізраїльські дослідники з Університету ім. Бар-Ілана розробили інноваційний метод обробки відео OmnimatteZero, який спрощує відокремлення об’єктів від фону без необхідності попереднього навчання та оптимізації.

Метод розроблений групою дослідників з кафедри комп’ютерних наук під керівництвом доктора Двіра Самуеля та професора Гала Чечика. Дослідження було присвячене відокремленню об’єктів або фігур від фону у відео зі збереженням таких складних елементів, як волосся, листя, тіні, відблиски, дим або брижі на воді. 

Сучасні методи розділення шарів у відео покладаються на моделі штучного інтелекту, які мають навчатись на мільйонах прикладів та складних методах оптимізації. Результати дослідження групи ізраїльських науковців демонструють, що тих самих результатів можна досягти зі значно меншими зусиллями, обчислювальними, фінансовими та енергетичними витратами.

Такий підхід дозволяє використати контент повторно. Наприклад лебедя можна вилучити з озера разом з його відображенням і обережно інтегрувати у новий фон, а саме озеро без лебедя використати як фон для іншої сцени.

Результати дослідження переконливо довели, що для розділення шарів у відео не потрібні спеціалізовані моделі на базі ШІ та надзвичайно високі обчислювальні потужності. Для цього методу цілком достатньо наявних моделей з генерації відео, як от WAN або Veo 3. Дослідження демонструє, як генеративні відеомоделі можуть бути використані для виявлення ефектів, створюваних об’єктами, а також для видалення, вилучення та повторної вставки цих об’єктів та їхніх ефектів в інші відео в режимі реального часу.

Такий підхід буде цікавим для відеоредакторів, дизайнерів, творців контенту, рекламодавців та дослідників з області штучного інтелекту. Декілька університетських команд по всьому світу зараз працюють над удосконаленням OmnimatteZero. Наступним напрямом досліджень доктора Семюеля стане синхронізація звуку. 

Результати дослідження опубліковані на сервері препринтів arXiv

Джерело: TechXplore