Американский инженер-энтузиаст создал умные очки, понимающие, на какой именно предмет, подключенный к системе умного дома, смотрит пользователь, и распознающие его жесты по отношению к этому предмету. К примеру, они позволяют взмахом руки включить лампу или музыку на колонке, рассказывает разработчик на странице проекта на GitHub.
Как сообщается, в основе устройства лежат, как ни странно, не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительная электроника. На одной из дужек инженер закрепил камеру для одноплатного компьютера Raspberry Pi, которая через провод подключена к плате NVIDIA Jetson Nano. Эту плату инженер разместил в картонной коробке, которую можно повесить на шею.
Возможность управлять устройствами жестами автор реализовал с помощью двух сверточных нейросетей. Одна из них распознает объекты в кадре, а вторая распознает жесты руки. Если алгоритмы получают комбинацию из известных объекта и жеста, очки посредством Wi-Fi посылают команду на искомое устройство.
Для обучения алгоритмов разработчик собрал самостоятельно два датасета, состоящих из более 10 тысяч кадров объектов и жестов, снятых с разных ракурсов и в разных условиях освещения. Сам инженер научил систему принимать в качестве команды лишь взмах руки, однако он выложил код и обучающие данные на GitHub, поэтому любой желающий может дообучить модель для своих жестов.
Источник: N+1
Продолжается конкурс авторов ИТС. Напиши статью о развитии игр, гейминг и игровые девайсы и выигрывай профессиональный игровой руль Logitech G923 Racing Wheel, или одну из низкопрофильных игровых клавиатур Logitech G815 LIGHTSYNC RGB Mechanical Gaming Keyboard!