Нейросеть учится сложным движениям, просматривая видео на YouTube

Исследователи Калифорнийского Университета совместно с коллегами из Университета Британской Колумбии разработали нейросетевой фреймворк, позволяющий виртуальным персонажам обучаться сложным движениям напрямую с выложенных на YouTube видеороликов, где эти движения выполняют люди.

Процесс обучения происходит следующим образом. Система получает ролик, на котором человек выполняет необходимое действие, к примеру, обратное сальто. Затем алгоритм покадрово размечает перемещение элементов человеческого тела и «согласует» их, образуя плавно двигающуюся модель. После этого данные передаются нейросети, которая пытается повторить движения с помощью обучения с подкреплением (поощрение происходит, когда разница между движениями человека из видеоролика и движениями человеческой модели для каждого кадра минимальна).

Как видно на демонстрационных роликах, нейросеть научилась качественно повторять множество достаточно сложных движений, причем алгоритм действует вариативно: например, он может подстраиваться под изменение строения виртуального персонажа, переключаясь с человеческой модели на модель человекоподобного робота Atlas, а также адаптироваться под окружающую среду и выполнять действия, двигаясь по сложному рельефу с ямами и другими препятствиями.

Источник: N+1