Веб-инженер из Google Джейсон Майес опубликовал на GitHub программу, способную удалять человека из видео в режиме реального времени, даже если он находится в движении. Получая изображение с камеры, алгоритм распознает фон и запоминает его, и когда в кадре оказывается человеческая фигура, то ПО принимается заменять те куски изображения, которые она занимает, на соответствующие фрагменты запомненного ранее фона.
Для разработки кода использовалась система машинного обучения TensorFlow.js. Протестировать решение на собственной веб-камере можно онлайн на сайте Glitch.com или Codepen.io, главное, чтобы в браузере была включена поддержка JavaScript (следует отметить, что ПО срабатывает не сразу — перед тем, как исчезнуть, придется немного походить перед камерой). Кроме того, исходный код приложения доступен для скачивания и модификации всеми желающими при условии уведомления об этом автора.
Веб-инженер отмечает, что его разработка — эксперимент, так что она не всегда справляется с задачами идеально. И действительно: на представленном образце видео, на котором, к слову, запечатлен сам программист, хорошо заметны многочисленные артефакты. Тем не менее, для экспериментального инструмента, запускающегося в браузере, алгоритм выглядит весьма достойно, тем более, что уже существующие подобные программы, как правило, неспособны работать с видео в реальном времени. Также они обычно весьма привередливы к заднему плану, в то время как ПО Майеса может работать в том числе с достаточно сложным, не однотонным фоном.
В данном демонстрационном ролике два видео идут параллельно: на верхнем запечатлено то, что происходит в реальности, а на другом можно видеть, как эту реальность меняет программа Майеса. Обратите внимание, что на нижнем видео от «удаленного» парня, когда он залезает на кровать, остаются следы на матрасе. Выглядит это так, будто по постели ходит человек-невидимка.
Поделившись своей разработкой в Twitter, программист предложил людям высказать свое мнение на этот счет, и у пользователей Сети нашлось множество потенциальных вариантов применения программы.
Один из комментаторов, к примеру, предложил Джейсону исправить видео, на котором маленькие дети вбегают в комнату к отцу-политологу и прерывают его интервью BBC News. Майес от вызова не отказался.
Другой комментатор уверен, что программа может вдохновить какого-нибудь голливудского режиссера на фильм о грабителях.
Наконец, еще один пользователь предложил использовать данное ПО для «вампирских» пранков.
«Если заменить зеркало на камеру плюс монитор и должным образом замаскировать их, то можно разыгрывать людей в стиле «Я превратил тебя в вампира».
Источник: hightech.plus