Блоги Блоги 01.11.2018 в 12:03 comment

Нейросеть помогла VR-гарнитуре сэкономить трафик при просмотре видео

author avatar
https://secure.gravatar.com/avatar/341ba260d57a6855744e3c0760decc30?s=96&r=g&d=https://itc.ua/wp-content/uploads/2023/06/no-avatar.png *** https://secure.gravatar.com/avatar/341ba260d57a6855744e3c0760decc30?s=96&r=g&d=https://itc.ua/wp-content/uploads/2023/06/no-avatar.png *** https://itc.ua/wp-content/themes/ITC_6.0/images/no-avatar.svg

Одно из преимуществ шлемов виртуальной реальности перед обычными мониторами при просмотре видео заключается в том, что при повороте головы пользователь видит на экране измененное изображение, благодаря чему у него возникает чувство погружения. Вместе с тем, разрешение таких роликов обычно в четыре раза выше обычных, а минимальной комфортной частотой обновления для VR-устройств считается 60 кадров в секунду. Из-за этого беспроводные сети текущего поколения, как правило, не могут обеспечить потоковую передачу сферических видео высокого качества в реальном времени.

В качестве решения этой проблемы разработчики предлагают передавать не все изображение, а лишь его часть, находящуюся в кадре. Но пока такое решение обладает заметными недостатками: к примеру, при резком повороте пользователь может увидеть вместо нужного изображения пустую область. Исследователи из Индианского университета вознамерились исправить ситуацию и для этого создали нейросеть, которая рассчитывает возможные направления поворота головы и на основе прогнозов скачивает кадры, которые пользователь должен увидеть при таких поворотах.

Прототип алгоритма на основе машинного обучения был реализован в виде Android-приложения для работы со смартфоном, вставляемым в VR-шлем. Приложение отслеживает повороты головы вокруг трех осей и предсказывает траекторию движения на несколько секунд вперед. Затем алгоритм вычисляет поле зрения, которое будет задействовано в ближайшие моменты и формирует запрос к серверу, в котором содержатся необходимые области видео, а также их качество, рассчитанное исходя из количества нужных областей и скорости работы сети.

Продолжается конкурс авторов ИТС. Напиши статью о развитии игр, гейминг и игровые девайсы и выигрывай профессиональный игровой руль Logitech G923 Racing Wheel, или одну из низкопрофильных игровых клавиатур Logitech G815 LIGHTSYNC RGB Mechanical Gaming Keyboard!


Loading comments...

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: