Google на днях представила новый интересный программный продукт под названием Autoflip. Это открытый алгоритм автоматического кадрирования видео. От других решений разработка Google отличается высочайшей автоматизацией и удобством — от пользователя требуется только задать базовые параметры вроде желаемого соотношения сторон, после чего система ИИ самостоятельно определяет наиболее важные объекты в кадре и соответствующим образом обрезает ролик.
Исторически сложилось так, что оборудование для съемки и просмотра видеозаписей в большинстве своем характеризовалось большей шириной кадра, а не высотой. Как результат, фильмы и ролики почти всегда снимались в «телевизионных» форматах 16:9 и 4:3. Но с приходом соцсетей и ростом популярности смартфонов пришла мода на «вертикальные» видео.
Сейчас нередко специалистам приходится адаптировать ролики под нескольких популярных соотношений одновременно. И чтобы нужные элементы всегда оставались в кадре, приходится обрезать ролики вручную, затрачивая на простое кадрирование немалое количество времени. Google решила с помощью Autoflip все упростить.
В отличие от конкурирующих решений вроде Adobe Smart Crop, инструмент Google полностью бесплатный и его использование не ограничено.
Google Autoflip полагается на технологии машинного обучения. Пользователь задает соотношение сторон для итогового видео, а также может дополнительно указать, необходимо ли сохранять все объекты в кадре. Система автоматически находит объект в кадре и может отслеживать его даже при смене ракурсов.
Еще одной отличительной особенностью инструмента — каждую новую сцену алгоритм обрабатывает отдельно, выбирая подходящий метод кадрирования в зависимости от ситуации (статичная обрезка, плавное перемещение зоны кадрирования и динамическое кадрирование в соответствии с движениями объектов). При необходимости алгоритм может расширить зону кадрирования и заполнить пустоты по бокам кадра.
В Google предлагают собственную реализацию на фреймворке MediaPipe, заявляя, что инструмент справляется с кадрированием «на лету». Код целиком и все инструкции по Autoflip есть в репозитории на GitHub.
В перспективе команда проекта Google Autoflip планирует добавить реалистичное дорисовывание граничных областей кадра с помощью нейросетей и удаление наложенного текста или рисунков. Обе функции уже есть в виде отдельных алгоритмов разработчиками из Google, так что их внедрение в Autoflip не должно занять много времени.
Источник: Google