Американский инженер-энтузиаст создал умные очки, понимающие, на какой именно предмет, подключенный к системе умного дома, смотрит пользователь, и распознающие его жесты по отношению к этому предмету. К примеру, они позволяют взмахом руки включить лампу или музыку на колонке, рассказывает разработчик на странице проекта на GitHub.
Как сообщается, в основе устройства лежат, как ни странно, не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительная электроника. На одной из дужек инженер закрепил камеру для одноплатного компьютера Raspberry Pi, которая через провод подключена к плате NVIDIA Jetson Nano. Эту плату инженер разместил в картонной коробке, которую можно повесить на шею.
Для обучения алгоритмов разработчик собрал самостоятельно два датасета, состоящих из более 10 тысяч кадров объектов и жестов, снятых с разных ракурсов и в разных условиях освещения. Сам инженер научил систему принимать в качестве команды лишь взмах руки, однако он выложил код и обучающие данные на GitHub, поэтому любой желающий может дообучить модель для своих жестов.
Источник: N+1