Володар Перснів 2.0: корейський стартап показав магію розпізнавання жестів смарт-кільцями — Фото: Science Advances / Digital Trends

Для людей із порушенням слуху жестова мова — це не просто інструмент спілкування, а їхня основна мова. Проблема в тому, що жестову мову зазвичай не вивчають люди з нормальним слухом, і це створює складний бар’єр. Тепер команда дослідників із Південної Кореї, схоже, знайшла напрочуд елегантне рішення цієї давньої проблеми.

Згідно з новим дослідженням, опублікованим у журналі Science Advances, система під назвою WRSLT (безпровідний каблучковий перекладач жестової мови) може розпізнавати та перекладати як американську жестову мову, так і міжнародну жестову мову з точністю понад 88%. І так, це працює в реальному часі.

Як сім кілець перекладають цілу мову?

Кожна смарт-каблучка містить тривісний акселерометр, який фіксує рухи пальців. Коли людина виконує жести, сенсори відстежують орієнтацію пальців і рухи руки. Усі ці дані бездротово передаються через Bluetooth на смартфон або комп’ютер, де штучний інтелект інтерпретує рухи та перетворює їх у текст.

“Система побудована як модульна архітектура, де кожне кільце працює автономно та передає дані без дротового з’єднання між елементами. Такий підхід дозволяє обробляти не лише статичні жести, а й безперервні послідовності рухів, формуючи основу для перекладу цілих фраз у текст без додаткових етапів калібрування для нового користувача”, — зазначають дослідники.

Головна перевага над наявними рішеннями — свобода рухів. Сучасні системи перекладу жестової мови зазвичай використовують громіздкі рукавички або дротові сенсорні комплекси, які обмежують природні рухи та потребують індивідуального налаштування для кожного користувача. WRSLT не має цих обмежень.

Чи може це справді працювати для всіх?

Результати тестів доволі позитивні, і дослідники вважають, що система може бути універсальною. Вони навчали модель на одній групі користувачів, а потім тестували на іншій. Система правильно розпізнавала слова міжнародної жестової мови з точністю 88,5%, а американської — 88,3%, що є високим показником з огляду на природні відмінності в жестах різних людей.

“Система використовує модель машинного навчання, яка обробляє сигнали руху пальців відносно гравітації, що зменшує залежність від індивідуальних особливостей користувача. Завдяки цьому підхід не потребує складного налаштування під конкретну людину і демонструє стабільні результати навіть для нових учасників тестування”, — йдеться у технічному описі.

Зараз система здатна розпізнавати 100 слів у кожній мові, що є хорошим початком. Команда планує зменшити розміри каблучок і розширити словник штучного інтелекту, додавши більше слів і нові жестові мови. Це ще ранній етап, але це одне з найперспективніших рішень для перекладу жестової мови, які з’являлися останнім часом.