Разработчики из компании Microsoft представили метод, позволяющий незаметно менять виртуальную среду при использовании VR-шлема. Для этого авторы предлагают отслеживать направление взгляда пользователя и менять среду в области периферического зрения. Разработчики предложили несколько сценариев применения системы. Например, с ее помощью можно определять, картины какого стиля больше всего привлекают пользователя, и незаметно подстраивать экспонаты на виртуальной выставке в соответствии с его предпочтениями. Разработка была представлена на конференции UIST 2019, статья с ее описанием опубликована на сайте Microsoft.
Отметим, что в кинематографе режиссер и оператор задают ракурс съемки так, как посчитает нужным. Это позволяет, к примеру, снимать сцены, в которых за камерой меняется обстановка. В компьютерных играх и виртуальной реальности разработчики более ограничены в средствах выражения, потому что пользователь может почти мгновенно поменять ракурс на другой, причем в любой момент.
Исследователи из Microsoft придумали метод, позволяющий частично решить эту проблему, а также использовать изменение виртуальной окружающей среды для повышения заинтересованности пользователя. Несмотря на то, что изменения, вносимые системой в виртуальную среду, происходят в его поле зрения, он их не замечает. Это происходит благодаря тому, что система отслеживает направление взгляда человека и меняет среду только в области периферийного зрения, причем делает это не резко, а постепенно, чтобы изменения не привлекли внимание пользователя.
Любопытно, что кроме отслеживания направления взгляда, система также может оценивать когнитивную нагрузку на пользователя и его внимание на основании диаметра зрачков, частоты саккад и других факторов. Это позволяет подстраивать окружение под реакцию человека (например, адаптировать сложность загадок в зависимости от волнения игрока), а также определять моменты наибольшего сосредоточения, когда пользователь с наибольшей вероятностью не заметит подмены в периферическом поле зрения. Для демонстрации возможностей решения инженеры использовали VR-шлем HTC Vive Pro и айтрекер PupilLabs.
Разработчики показали несколько возможных сценариев применения разработки. В одном из них пользователь находится в виртуальном художественном музее. Система отслеживает, какие работы больше всего приковывают его внимание, и незаметно меняет одну из картин на краю поля зрения в соответствии с его предпочтениями. В другой демонстрации в моменты, когда пользователь начинает нервничать в процессе собирания пазла, система привлекает его внимание на двигающегося кота и в это же время меняет расположение элементов пазла таким образом, чтобы соединяющиеся между собой части располагались ближе друг к другу. Также разработку можно задействовать для экономии потребления ресурсов программным обеспечением: в этом сценарии, отслеживая взгляд пользователя, система отрисовывает объекты более детально только тогда, когда они оказываются в поле центрального зрения.
Источник: N+1