Веб-инженер из Google Джейсон Майес опубликовал на GitHub программу, способную удалять человека из видео в режиме реального времени, даже если он находится в движении. Получая изображение с камеры, алгоритм распознает фон и запоминает его, и когда в кадре оказывается человеческая фигура, то ПО принимается заменять те куски изображения, которые она занимает, на соответствующие фрагменты запомненного ранее фона.
Для разработки кода использовалась система машинного обучения TensorFlow.js. Протестировать решение на собственной веб-камере можно онлайн на сайте Glitch.com или Codepen.io, главное, чтобы в браузере была включена поддержка JavaScript (следует отметить, что ПО срабатывает не сразу — перед тем, как исчезнуть, придется немного походить перед камерой). Кроме того, исходный код приложения доступен для скачивания и модификации всеми желающими при условии уведомления об этом автора.
Веб-инженер отмечает, что его разработка — эксперимент, так что она не всегда справляется с задачами идеально. И действительно: на представленном образце видео, на котором, к слову, запечатлен сам программист, хорошо заметны многочисленные артефакты. Тем не менее, для экспериментального инструмента, запускающегося в браузере, алгоритм выглядит весьма достойно, тем более, что уже существующие подобные программы, как правило, неспособны работать с видео в реальном времени. Также они обычно весьма привередливы к заднему плану, в то время как ПО Майеса может работать в том числе с достаточно сложным, не однотонным фоном.
В данном демонстрационном ролике два видео идут параллельно: на верхнем запечатлено то, что происходит в реальности, а на другом можно видеть, как эту реальность меняет программа Майеса. Обратите внимание, что на нижнем видео от «удаленного» парня, когда он залезает на кровать, остаются следы на матрасе. Выглядит это так, будто по постели ходит человек-невидимка.
Поделившись своей разработкой в Twitter, программист предложил людям высказать свое мнение на этот счет, и у пользователей Сети нашлось множество потенциальных вариантов применения программы.
I present to you my latest #prototype. Real-time person removal from complex backgrounds in #JavaScript using #TensorFlowJS in the browser. Tell me what you think! Star on Github + try it yourself right now: https://t.co/Ox5YhJu50y#MadeWithTFJS #WebDev #Web #Experiment #JS pic.twitter.com/ikDlftpxHT
— Jason Mayes (@jason_mayes) February 17, 2020
Один из комментаторов, к примеру, предложил Джейсону исправить видео, на котором маленькие дети вбегают в комнату к отцу-политологу и прерывают его интервью BBC News. Майес от вызова не отказался.
Here are the results pic.twitter.com/20k2UAQWKj
— Jason Mayes (@jason_mayes) February 18, 2020
Другой комментатор уверен, что программа может вдохновить какого-нибудь голливудского режиссера на фильм о грабителях.
Coming soon to a Hollywood Heist movie near you!
— Martin Valdes de Leon (@mvaldesdeleon) February 18, 2020
Наконец, еще один пользователь предложил использовать данное ПО для «вампирских» пранков.
Getting a cam+screen masquerade as a mirror could be an interesting “I turned you into a vampire” prank ?♀️ ?♂️
— Doron Adler (@Norod78) February 18, 2020
«Если заменить зеркало на камеру плюс монитор и должным образом замаскировать их, то можно разыгрывать людей в стиле «Я превратил тебя в вампира».
Источник: hightech.plus
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.