Одно из преимуществ шлемов виртуальной реальности перед обычными мониторами при просмотре видео заключается в том, что при повороте головы пользователь видит на экране измененное изображение, благодаря чему у него возникает чувство погружения. Вместе с тем, разрешение таких роликов обычно в четыре раза выше обычных, а минимальной комфортной частотой обновления для VR-устройств считается 60 кадров в секунду. Из-за этого беспроводные сети текущего поколения, как правило, не могут обеспечить потоковую передачу сферических видео высокого качества в реальном времени.
В качестве решения этой проблемы разработчики предлагают передавать не все изображение, а лишь его часть, находящуюся в кадре. Но пока такое решение обладает заметными недостатками: к примеру, при резком повороте пользователь может увидеть вместо нужного изображения пустую область. Исследователи из Индианского университета вознамерились исправить ситуацию и для этого создали нейросеть, которая рассчитывает возможные направления поворота головы и на основе прогнозов скачивает кадры, которые пользователь должен увидеть при таких поворотах.
Прототип алгоритма на основе машинного обучения был реализован в виде Android-приложения для работы со смартфоном, вставляемым в VR-шлем. Приложение отслеживает повороты головы вокруг трех осей и предсказывает траекторию движения на несколько секунд вперед. Затем алгоритм вычисляет поле зрения, которое будет задействовано в ближайшие моменты и формирует запрос к серверу, в котором содержатся необходимые области видео, а также их качество, рассчитанное исходя из количества нужных областей и скорости работы сети.