Володар Перснів 2.0: корейський стартап показав магію розпізнавання жестів смарт-кільцями

Для людей с нарушением слуха жестовый язык — это не просто инструмент общения, а их основной язык. Проблема в том, что жестовый язык обычно не изучают люди с нормальным слухом, и это создает сложный барьер. Теперь команда исследователей из Южной Кореи, похоже, нашла удивительно элегантное решение этой давней проблемы.

Согласно новому исследованию, опубликованному в журнале Science Advances, система под названием WRSLT (беспроводной перьевой переводчик жестового языка) может распознавать и переводить как американский жестовый язык, так и международный жестовый язык с точностью более 88%. И да, это работает в реальном времени.

Как семь колец переводят целый язык?

Каждое смарт-кольцо содержит трехосный акселерометр, который фиксирует движения пальцев. Когда человек выполняет жесты, сенсоры отслеживают ориентацию пальцев и движения руки. Все эти данные беспроводно передаются через Bluetooth на смартфон или компьютер, где искусственный интеллект интерпретирует движения и превращает их в текст.

«Система построена как модульная архитектура, где каждое кольцо работает автономно и передает данные без проводного соединения между элементами. Такой подход позволяет обрабатывать не только статические жесты, но и непрерывные последовательности движений, формируя основу для перевода целых фраз в текст без дополнительных этапов калибровки для нового пользователя», — отмечают исследователи.

Главное преимущество над имеющимися решениями — свобода движений. Современные системы перевода жестового языка обычно используют громоздкие перчатки или проводные сенсорные комплексы, которые ограничивают естественные движения и требуют индивидуальной настройки для каждого пользователя. WRSLT не имеет этих ограничений.

Может ли это действительно работать для всех?

Результаты тестов довольно положительные, и исследователи считают, что система может быть универсальной. Они обучали модель на одной группе пользователей, а затем тестировали на другой. Система правильно распознавала слова международного жестового языка с точностью 88,5%, а американского — 88,3%, что является высоким показателем, учитывая естественные различия в жестах разных людей.

«Система использует модель машинного обучения, которая обрабатывает сигналы движения пальцев относительно гравитации, что уменьшает зависимость от индивидуальных особенностей пользователя. Благодаря этому подход не требует сложной настройки под конкретного человека и демонстрирует стабильные результаты даже для новых участников тестирования», — говорится в техническом описании.

Сейчас система способна распознавать 100 слов в каждом языке, что является хорошим началом. Команда планирует уменьшить размеры колец и расширить словарь искусственного интеллекта, добавив больше слов и новые жестовые языки. Это еще ранний этап, но это одно из самых перспективных решений для перевода жестового языка, которые появлялись в последнее время.