Американские разработчики создали систему дополненной реальности на базе смартфона, позволяющую пользователю взаимодействовать с виртуальными объектами напрямую при помощи рук, а не сенсорного экрана. Новация была представлена на конференции UIST 2019.
Отметим, что дополненная реальность (AR) позволяет «встраивать» виртуальные объекты в реальный мир с помощью экрана и камеры смартфона или специальных AR-очков. Зачастую разработчики используют это в играх, но существуют также и неигровые приложения дополненной реальности. Одна из ключевых проблем этой области заключается в том, что в случае со смартфонами пользователь может взаимодействовать с виртуальными объектами только через сенсорный экран, что негативно сказывается на ощущении их реалистичности.
Чтобы решить данную загвоздку, инженеры из Университета Брауна взялись дополнить смартфон контроллером Leap Motion, способным отслеживать движения рук пользователя с высокой точностью.
При создании инновационной системы исследователи столкнулись с рядом трудностей, которые преодолевали поэтапно. Так, поскольку изначальный дизайн Leap Motion предполагает размещение устройства на компьютерном столе и не подразумевает иных сценариев использования, авторы сперва спроектировали и напечатали при помощи 3D-принтера специальный корпус с присосками, в который поместили контроллер — благодаря этому разработчики получили возможность прикреплять оный к смартфону (к слову, в исследовании использовался Samsung S9+).
На следующем этапе инженерам предстояло некоторым образом «подружить» Leap Motion с мобильным гаджетом (контроллер предназначен для работы с PC). Чтобы сделать это, они задействовали устройство-посредник в лице портативного компьютера Intel Compute Stick, задача которого заключается в том, чтобы в режиме реального времени передавать данные с Leap Motion на смартфон по беспроводной связи (сам контроллер при этом подключается к PC-стику по USB).
Дабы упростить пользователю ношение одновременно четырех устройств — компьютера и батареи для него, а также смартфона и контроллера, — авторы предусмотрели специальную сумку, надеваемую через плечо.
Наконец, изобретатели создали ПО для смартфона на базе фреймворка ARCore для Android, способное работать с данными от Leap Motion, и натренировали алгоритм распознавать перемещение рук пользователя и различные жесты.
Для проверки эффективности решения авторы разработали незамысловатое AR-приложение на движке Unity, в котором пользователь может взаимодействовать с различными виртуальными предметами традиционным образом через сенсорный экран либо при помощи рук, например, он может подбирать виртуальные объекты, используя для этого жест «щепотка» (отдельно отмечается, что, помимо экрана, программа выводит информацию о взаимодействии также при помощи звука и вибрации). Исследование, в котором приняли участие 12 добровольцев — в числе прочего от них требовалось как можно быстрее и аккуратнее построить условный домик из пяти виртуальных блоков (но не дольше, чем за три минуты), — показало, что новая система действительно позволяет пользователям более комфортно и эффективно взаимодействовать с виртуальными объектами по сравнению с использованием только сенсорного экрана.
Напоследок отметим, что проект американских исследователей, получивший название Portal-Ble, является открытым: инструкции по самостоятельной сборке системы, а также исходный код необходимого программного обеспечения и чертежи 3D-печатного корпуса для Leap Motion опубликованы на GitHub.
Источник: N+1