Американские инженеры создали насадку для VR-шлемов начального уровня, в которые вставляется смартфон, позволяющую определять позу тела и губ пользователя, а также его внешний вид. Насадка состоит из двух зеркальных полусфер, установленных напротив камеры смартфона. Разработка была представлена на конференции UIST 2019, статья с ее описанием доступна на сайте мероприятия.
Отметим, что многие современные системы виртуальной реальности оснащаются датчиками для захвата движений, что, в числе прочего, позволяет более реалистично изображать пользователя в виртуальном мире и использовать руки для взаимодействия с объектами. Обычно такая система состоит из нескольких камер на передней поверхности шлема, направленных в разные стороны. Однако помимо полноценных VR-шлемов есть шлемы начального уровня, работающие благодаря вставляемому в них смартфону, выводящему изображение виртуального мира на экран. У таких шлемов, как правило, нет датчиков захвата движений, что негативным образом сказывается на пользовательском опыте. Исправить ситуацию взялись инженеры из Университета Карнеги — Меллона под руководством Роберта Сяо.
Исследователи указывают, что большинство современных смартфонов оснащаются относительно качественными камерами, четкости картинки с которых достаточно для того, чтобы по ней специальные алгоритмы могли отследить движения тела пользователя. Загвоздка в том, что в шлемах, требующих для своей работы установки смартфона, оный располагается таким образом, что его камера направлена по направлению от пользователя, из-за чего задействовать алгоритмы захвата движений тела не представляется возможным. Авторы решили эту проблему, разместив на шлеме две зеркальные полусферы стоимостью $2,5 каждая.
Как сообщается, прототип, созданный американскими инженерами, состоит из простого шлема (в ходе разработки изобретатели использовали разные модели, в том числе Google Cardboard), толстой проволоки и закрепленных на ее конце двух полусфер с зеркальным покрытием. Благодаря такой форме зеркал камера смартфона способна захватывать пространство непосредственно около пользователя, в том числе всю переднюю часть его тела. При этом исследователи использовали именно пару полусфер, а не одну, чтобы ПО могло извлекать из двух изображений, снятых с разных ракурсов, данные о глубине.
После съемки кадра он пересылается со смартфона на сервер. Там сначала происходит «развертка» двух сферических изображений в прямоугольные, что возможно благодаря данным о расстоянии от камеры до сферы, угле съемки, а также калибровки. После этого прямоугольные изображения анализируются алгоритмом OpenPose, который размечает на теле ключевые точки, соответствующие положениям суставов и других частей, и затем сравнивает кадры для определения глубины изображений. Вдобавок к этому авторы задействовали отдельную нейросеть для анализа формы губ.
Картинка, которую «видит» камера установленного в VR-шлеме смартфона, примеры «развернутого» алгоритмами сферического изображения, которое подается на вход системе отслеживания жестов, мимики и позы тела, а также примеры работы решения.
На демонстрационном видео авторы показали, что разработанную ими систему можно использовать, чтобы распознавать жесты пользователя, мимику его губ (всего исследователи предусмотрели пять возможных выражений рта пользователя: «закрытый рот», «целующий», «открытый», «ухмыляющийся» и «улыбающийся») и позволять ему управлять приложениями с помощью рук. Кроме того, они нашли еще одно применение разработке: изобретатели научили ПО создавать по данным с камеры виртуальный аватар, раскрашенный так же, как и одежда пользователя, и повторяющий движения его тела.
В заключение исследователи отмечают, что возможности их решения в плане отслеживания позы человека превосходят существующие аналоги даже в достаточно дорогих VR-гарнитурах, а потому прогнозируют, что применение зеркальных сфер не будет лишним и в некоторых полноценных очках виртуальной реальности. Вместе с тем, они указывают, что в настоящее время система требует доработки: в частности, ей недостает скорости отклика (на то, чтобы обработать изображение, у ПО уходит 270 мс с учетом его отправки на сервер), способностей отслеживать ступни (из-за особенностей сферических зеркал ступни на развернутом изображении получаются слишком размытыми, и алгоритмы не в состоянии их отслеживать; когда разработчики отодвинули зеркала, чтобы ступни тоже оказались в фокусе, они заметили, что в таком случае пользователь начинает ощущать вес зеркал при поворотах головы, что негативно сказывается на погружении) и работать в помещениях с тусклым освещением. Будучи уверенными в перспективности разработки, авторы собираются заняться усовершенствованием системы в ближайшем будущем.
Источник: N+1