Американские разработчики из Вашингтонского университета и Facebook представили алгоритм, способный оживлять фигуры людей на двумерных изображениях. Нейросеть создает для нарисованного либо запечатленного (если речь идет о фото) человека трехмерную модель, а затем воспроизводит анимацию с выбегающим из фотографии персонажем.
Как сообщается, созданная исследователями система работает следующим образом. Сначала нейросеть распознает на изображении область с человеком и отделяет ее от фона. Затем она превращает выбранную область в двумерную модель скелета, состоящую из прямых сегментов и их соединений. Параллельно с этим система просчитывает и дорисовывает «реалистичный» фон в областях кадра, изначально закрытых персонажем.
После создания двумерной модели алгоритм формирует на ее базе трехмерную модель и накладывает на нее текстуру, созданную на основе изображения человека из исходного кадра. В результате, на выходе получается модель, которая может совершать произвольные движения, к примеру, выбегать из кадра. Кроме того, пользователь может вручную изменить положение частей тела модели перед началом анимации.
Разработчики создали несколько режимов работы алгоритма. В одном из них алгоритм создает обычную анимацию на мониторе, в другом — выводит ее в дополненной реальности.
Что касается конкретных примеров работы нейросети, то с ее помощью разработчики, среди прочего, сумели превратить обычную картину на стене в интерактивную.
Источник: N+1