Блоги
Нейросеть «оживила» людей на фотографиях
12

Нейросеть «оживила» людей на фотографиях

Нейросеть «оживила» людей на фотографиях

Американские разработчики из Вашингтонского университета и Facebook представили алгоритм, способный оживлять фигуры людей на двумерных изображениях. Нейросеть создает для нарисованного либо запечатленного (если речь идет о фото) человека трехмерную модель, а затем воспроизводит анимацию с выбегающим из фотографии персонажем.

Как сообщается, созданная исследователями система работает следующим образом. Сначала нейросеть распознает на изображении область с человеком и отделяет ее от фона. Затем она превращает выбранную область в двумерную модель скелета, состоящую из прямых сегментов и их соединений. Параллельно с этим система просчитывает и дорисовывает «реалистичный» фон в областях кадра, изначально закрытых персонажем.

После создания двумерной модели алгоритм формирует на ее базе трехмерную модель и накладывает на нее текстуру, созданную на основе изображения человека из исходного кадра. В результате, на выходе получается модель, которая может совершать произвольные движения, к примеру, выбегать из кадра. Кроме того, пользователь может вручную изменить положение частей тела модели перед началом анимации.

Разработчики создали несколько режимов работы алгоритма. В одном из них алгоритм создает обычную анимацию на мониторе, в другом — выводит ее в дополненной реальности.

Что касается конкретных примеров работы нейросети, то с ее помощью разработчики, среди прочего, сумели превратить обычную картину на стене в интерактивную.

Источник: N+1


Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: