Блоги Блоги 12.09.2019 в 15:39 comment

Норвежские исследователи нашли первое полезное применение DeepFake-технологии: с ее помощью предложили анонимизировать людей на фото и видео

author avatar
https://secure.gravatar.com/avatar/341ba260d57a6855744e3c0760decc30?s=96&r=g&d=https://itc.ua/wp-content/uploads/2023/06/no-avatar.png *** https://secure.gravatar.com/avatar/341ba260d57a6855744e3c0760decc30?s=96&r=g&d=https://itc.ua/wp-content/uploads/2023/06/no-avatar.png *** https://itc.ua/wp-content/themes/ITC_6.0/images/no-avatar.svg

Разработчики из Норвежского технологического университета пришли к выводу, что технологию подмены лиц, известную также как DeepFake, можно использовать и во благо. Они предложили задействовать ее для сохранения анонимности людей при создании видео и фотографий. Сегодня для этого лица людей, как правило, размывают или закрывают черным прямоугольником, что, среди прочего, нарушает распределение данных на изображении и усложняет их последующую обработку алгоритмами.

Как сообщается, чтобы продемонстрировать жизнеспособность идеи, разработчики создали решение под названием DeepPrivacy на основе сразу нескольких популярных в области обработки изображений нейросетей. Сначала исходный снимок с человеком или несколькими людьми подается на нейросеть S3FD, размечающую на снимке прямоугольные области с лицами. Затем нейросеть Mask R-CNN размечает для обнаруженных лиц ключевые точки: глаза, уши, плечи и нос. Вычисление параметров лица необходимо для того, чтобы наложенное впоследствии лицо имело реалистичное положение относительно тела, повторяющее оригинал.

Норвежские исследователи нашли первое полезное применение DeepFake-технологии: с ее помощью предложили анонимизировать людей на фото и видео
Схема работы DeepPrivacy.

После того, как Mask R-CNN рассчитала ключевые точки, эти параметры кодируются в небольшое изображение. Затем области с лицами на исходном кадре закрашиваются серым цветом, а потом пиксели в нем меняют на случайные цвета. После этого такое анонимизированное изображение, не позволяющее однозначно идентифицировать человека, подается на генератор нейросети U-Net. В процессе работы нейросети на одном из слоев к основному изображению добавляется изображение, созданное из ключевых точек лица, что позволяет алгоритму точно и реалистично разместить новое лицо в кадре.

Норвежские исследователи нашли первое полезное применение DeepFake-технологии: с ее помощью предложили анонимизировать людей на фото и видео
Пошаговая схема работы алгоритма.

Благодаря такой схеме, как указывают исследователи, генеративная нейросеть, отвечающая за синтез области с лицом, не получает исходного лица, что позволяет обходить европейский Общий регламент по защите данных (GDPR).

Норвежские исследователи нашли первое полезное применение DeepFake-технологии: с ее помощью предложили анонимизировать людей на фото и видео
Результат работы DeepPrivacy.

Отметим, что для обучения DeepPrivacy разработчики создали собственный датасет Flickr Diverse Faces (FDF) на основе датасета различных снимков YFCC-100M. В новый датасет входят 1,47 миллиона снимков, содержащих лица людей, причем они сняты в обычных условиях и расположены под разными углами к камере, а иногда и частично закрыты другими объектами. Каждое лицо на фотографиях выделено прямоугольной обводкой, также на нем выделены ключевые точки. Чтобы обучить нейросетевую модель, авторам понадобилось 17 дней.

Норвежские исследователи нашли первое полезное применение DeepFake-технологии: с ее помощью предложили анонимизировать людей на фото и видео
Пример изображений из датасета FDF.

Статья с описанием разработки опубликована на на arXiv.org. Исходный код и документация опубликованы на GitHub.

Норвежские исследователи нашли первое полезное применение DeepFake-технологии: с ее помощью предложили анонимизировать людей на фото и видео
На данных изображениях все лица подменены при помощи DeepPrivacy.
Норвежские исследователи нашли первое полезное применение DeepFake-технологии: с ее помощью предложили анонимизировать людей на фото и видео
Результат работы алгоритма на примере видео.

Источник: N+1

Продолжается конкурс авторов ИТС. Напиши статью о развитии игр, гейминг и игровые девайсы и выигрывай профессиональный игровой руль Logitech G923 Racing Wheel, или одну из низкопрофильных игровых клавиатур Logitech G815 LIGHTSYNC RGB Mechanical Gaming Keyboard!


Loading comments...

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: