Компания Google опубликовала алгоритм, который с высокой точностью отслеживает движения руки пользователя на основе изображения, получаемого с камеры смартфона. Разработчики считают, что решение позволит реализовать на мобильных устройствах новые функции, например, распознавание жестового языка или жестовых команд. Подробности об алгоритме компания рассказала в своем блоге.
Как сообщается, в начале алгоритм анализирует кадры с камеры и обнаруживает на них руку, после чего работает только с нужной областью, что значительно снижает требуемую вычислительную мощность.
Во время работы алгоритм создает модель руки, состоящую из 21 точки, которых достаточно для относительно точного описания положения конечности в конкретный момент. При этом ПО может работать в двух режимах: в одном оно создает двумерную модель руки, а в другом — трехмерную.
На основе алгоритма разработчики также создали систему распознавания жестов: получая модель руки, решение анализирует углы между частями пальцев и сопоставляет их с базой известных ему жестов. Для обучения алгоритма разработчикам пришлось создать собственный датасет из примерно 30 тысяч кадров, на каждом из которых была вручную размечена модель кисти.
Источник: N+1