Блоги
Норвежские исследователи нашли первое полезное применение DeepFake-технологии: с ее помощью предложили анонимизировать людей на фото и видео

Норвежские исследователи нашли первое полезное применение DeepFake-технологии: с ее помощью предложили анонимизировать людей на фото и видео

Норвежские исследователи нашли первое полезное применение DeepFake-технологии: с ее помощью предложили анонимизировать людей на фото и видео


Разработчики из Норвежского технологического университета пришли к выводу, что технологию подмены лиц, известную также как DeepFake, можно использовать и во благо. Они предложили задействовать ее для сохранения анонимности людей при создании видео и фотографий. Сегодня для этого лица людей, как правило, размывают или закрывают черным прямоугольником, что, среди прочего, нарушает распределение данных на изображении и усложняет их последующую обработку алгоритмами.

Как сообщается, чтобы продемонстрировать жизнеспособность идеи, разработчики создали решение под названием DeepPrivacy на основе сразу нескольких популярных в области обработки изображений нейросетей. Сначала исходный снимок с человеком или несколькими людьми подается на нейросеть S3FD, размечающую на снимке прямоугольные области с лицами. Затем нейросеть Mask R-CNN размечает для обнаруженных лиц ключевые точки: глаза, уши, плечи и нос. Вычисление параметров лица необходимо для того, чтобы наложенное впоследствии лицо имело реалистичное положение относительно тела, повторяющее оригинал.

Схема работы DeepPrivacy.

После того, как Mask R-CNN рассчитала ключевые точки, эти параметры кодируются в небольшое изображение. Затем области с лицами на исходном кадре закрашиваются серым цветом, а потом пиксели в нем меняют на случайные цвета. После этого такое анонимизированное изображение, не позволяющее однозначно идентифицировать человека, подается на генератор нейросети U-Net. В процессе работы нейросети на одном из слоев к основному изображению добавляется изображение, созданное из ключевых точек лица, что позволяет алгоритму точно и реалистично разместить новое лицо в кадре.

Пошаговая схема работы алгоритма.

Благодаря такой схеме, как указывают исследователи, генеративная нейросеть, отвечающая за синтез области с лицом, не получает исходного лица, что позволяет обходить европейский Общий регламент по защите данных (GDPR).

Результат работы DeepPrivacy.

Отметим, что для обучения DeepPrivacy разработчики создали собственный датасет Flickr Diverse Faces (FDF) на основе датасета различных снимков YFCC-100M. В новый датасет входят 1,47 миллиона снимков, содержащих лица людей, причем они сняты в обычных условиях и расположены под разными углами к камере, а иногда и частично закрыты другими объектами. Каждое лицо на фотографиях выделено прямоугольной обводкой, также на нем выделены ключевые точки. Чтобы обучить нейросетевую модель, авторам понадобилось 17 дней.

Пример изображений из датасета FDF.

Статья с описанием разработки опубликована на на arXiv.org. Исходный код и документация опубликованы на GitHub.

На данных изображениях все лица подменены при помощи DeepPrivacy.
Результат работы алгоритма на примере видео.

Источник: N+1


Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: