Японские и швейцарские инженеры создали носимое устройство, распознающее движения пальцев с помощью компактных ультразвуковых излучателя и приемника, приклеенных на кисть. Решение анализирует изменения акустических свойств ультразвука, вызванные движением кисти, и определяет по ним жест. Кроме жестов одной рукой, система способна распознавать и прикосновения пальцев другой руки, рассказывают авторы статьи, представленной на конференции MobileHCI 2019.
Отметим, что большая часть часть сегодняшней потребительской электроники управляется с помощью сенсорных экранов, кнопок и других органов управления, требующих непосредственного физического контакта. Однако они не всегда удобны. Яркий пример — умные часы. Они имеют небольшой экран, на который нельзя вывести крупные элементы интерфейса, а количество физических кнопок на них также обычно ограничено двумя-тремя.
Возможное решение проблемы представили на днях инженеры из Швейцарской высшей технической школы Цюриха и Цукубского университета. Они создали систему, позволяющую распознавать жесты руки с помощью ультразвука. Принцип работы системы основан на том, что при выполнении жестов форма кисти меняется, а вместе с ней изменяются и резонансные частоты кисти, что позволяет решению, отслеживающему эти изменения, распознавать жесты.
В рамках исследования разработчики создали два отдельных прототипа устройства — подключаемый к компьютеру и автономный (на фото выше; агрегат работает от бортовой батареи и подключается к компьютеру, обрабатывающему данные, по Bluetooth), при этом оба имеют схожую конструкцию основной части. Она состоит из двух небольших пьезоэлектрических элементов (25 × 12 × 6 мм каждый), закрепляемых на внешней стороне кисти с помощью двусторонней клейкой ленты. Эти элементы выполняют роль динамика, издающего ультразвуковые импульсы с частотой от 20 до 40 кГц, и микрофона, регистрирующего ответную вибрацию кисти.
Для анализа алгоритм превращает данные с микрофона в вектор. Затем вектор с помощью метода опорных векторов соотносится с тем или иным жестом. Разработчики обучили классификатор распознавать множество жестов разных типов: к примеру, он умеет распознавать движение большого пальца вдоль других пальцев, прикосновения большого пальца к фалангам других пальцев, а также прикосновения пальцев одной руки к ладони другой. При этом ПО способно примерно рассчитать не только местоположение прикосновения, но и его силу.
Эксперименты показали, что точность распознавания жестов системой составляет 84,4%, а точность распознавания силы нажатия на фаланги пальцев — 85%. Авторы признают, что у их метода есть недостатки: к примеру, необходимость обучать алгоритм для работы с конкретным человеком.
Вместе с тем, разработчики уверены в перспективности разработки: по их мнению, достаточно простая в использовании система найдет применение для управления различной «умной» техникой, в частности, «умными» телевизорами, автомобильными и индустриальными системами, а также может послужить в качестве удобной системы ввода команд в VR. В то же время, они отмечают необходимость в дальнейшем усовершенствовании решения, например, в уменьшении его размеров.
Источник: N+1