Подразделение Facebook Reality Labs опубликовало статью об «обратной сквозной виртуальной реальности». Под этим термином подразумевается попытка сделать гарнитуры виртуальной реальности менее изолирующими устройствами. Фактически исследователи предлагают переносить изображение лица пользователя на фронтальную часть гарнитуры. Таким образом, другие люди смогут видеть глаза пользователя, пока он носит гарнитуру виртуальной реальности.
Концепция «сквозной виртуальной реальности» предусматривает использование внешних камер для отображения видео с них в режиме реального времени на дисплее гарнитуры. Таким образом, пользователь может видеть окружающее пространство и людей вокруг себя. Например, платформа Facebook Oculus Quest показывает пользователям сквозное изображение, когда они выходят за пределы своего виртуального пространства. Таким же образом можно показывать виртуальные объекты в условиях реального мира в виде дополненной реальности. И хотя пользователь может видеть лица людей рядом с собой, такой подход не позволяет окружающим видеть лицо пользователя. И это может доставлять неудобство.
Ученый Facebook Reality Labs Натан Мацуда решил изменить это. Он начал работы над этим проектом в 2019 году, установив 3D-дисплей на гарнитуру Oculus Rift S. На экране отображалась виртуальная визуализация его верхней части лица. Дополнительно использовались специально настроенные камеры слежения за глазами. Они фиксировали, куда смотрит Мацуда, так что глаза его аватара могли указывать в том же направлении. Результатом стало то, что Мацуда был одет в планшет телеприсутствия, на котором была показана копия его собственного лица.
Старший научный сотрудник Facebook Reality Labs Майкл Абраш не нашел эту идею очень практичной. На протяжении двух последующих лет Мацуда занимался разработкой этой концепции и возглавил команду по разработке более подходящего дизайна. И теперь команда представила новый прототип, который добавляет набор объективов и камер к стандартному дисплею гарнитуры виртуальной реальности.
Стереокамеры фиксируют изображение лица и глаз внутри гарнитуры, и их движение отображается на цифровой модели лица. Затем изображение проецируется обращённый наружу дисплей светового поля. Этот дисплей создает иллюзию того, что человек смотрит через линзы толстых очков и видит пару глаз, хотя на самом деле он видит анимированную копию в реальном времени. Если пользователь вернётся в виртуальную реальность, дисплей может погаснуть. Это сигнализирует о том, что он больше не взаимодействует с внешним миром.
Разработчики подчеркивают, что это всё ещё экспериментальный метод передачи лица сквозь гарнитуру виртуальной реальности. Пока нет никакой информации о намерении использовать эти наработки в коммерческих продуктах.
Источник: The Verge