Исследователи Калифорнийского Университета совместно с коллегами из Университета Британской Колумбии разработали нейросетевой фреймворк, позволяющий виртуальным персонажам обучаться сложным движениям напрямую с выложенных на YouTube видеороликов, где эти движения выполняют люди.
Процесс обучения происходит следующим образом. Система получает ролик, на котором человек выполняет необходимое действие, к примеру, обратное сальто. Затем алгоритм покадрово размечает перемещение элементов человеческого тела и «согласует» их, образуя плавно двигающуюся модель. После этого данные передаются нейросети, которая пытается повторить движения с помощью обучения с подкреплением (поощрение происходит, когда разница между движениями человека из видеоролика и движениями человеческой модели для каждого кадра минимальна).
Как видно на демонстрационных роликах, нейросеть научилась качественно повторять множество достаточно сложных движений, причем алгоритм действует вариативно: например, он может подстраиваться под изменение строения виртуального персонажа, переключаясь с человеческой модели на модель человекоподобного робота Atlas, а также адаптироваться под окружающую среду и выполнять действия, двигаясь по сложному рельефу с ямами и другими препятствиями.
Источник: N+1
Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.
Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.