Компания Google опубликовала алгоритм, который с высокой точностью отслеживает движения руки пользователя на основе изображения, получаемого с камеры смартфона. Разработчики считают, что решение позволит реализовать на мобильных устройствах новые функции, например, распознавание жестового языка или жестовых команд. Подробности об алгоритме компания рассказала в своем блоге.
Как сообщается, в начале алгоритм анализирует кадры с камеры и обнаруживает на них руку, после чего работает только с нужной областью, что значительно снижает требуемую вычислительную мощность.
Во время работы алгоритм создает модель руки, состоящую из 21 точки, которых достаточно для относительно точного описания положения конечности в конкретный момент. При этом ПО может работать в двух режимах: в одном оно создает двумерную модель руки, а в другом — трехмерную.
На основе алгоритма разработчики также создали систему распознавания жестов: получая модель руки, решение анализирует углы между частями пальцев и сопоставляет их с базой известных ему жестов. Для обучения алгоритма разработчикам пришлось создать собственный датасет из примерно 30 тысяч кадров, на каждом из которых была вручную размечена модель кисти.
Для сторонних разработчиков алгоритм доступен на GihHub, причем адаптирован он для работы на обеих основных мобильных операционных системах: Android и iOS. Пользователи Android также могут установить себе два демо-приложения, одно из которых создает двумерную модель руки, а второе рисует трехмерную модель, отражающую относительное расстояние до каждой точки кисти. Для iOS доступны инструкции по сборке проекта в Xcode.
Источник: N+1