Инженер-энтузиаст создал очки, с помощью которых можно управлять умным домом жестами

Американский инженер-энтузиаст создал умные очки, понимающие, на какой именно предмет, подключенный к системе умного дома, смотрит пользователь, и распознающие его жесты по отношению к этому предмету. К примеру, они позволяют взмахом руки включить лампу или музыку на колонке, рассказывает разработчик на странице проекта на GitHub.

Как сообщается, в основе устройства лежат, как ни странно, не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительная электроника. На одной из дужек инженер закрепил камеру для одноплатного компьютера Raspberry Pi, которая через провод подключена к плате NVIDIA Jetson Nano. Эту плату инженер разместил в картонной коробке, которую можно повесить на шею.

Возможность управлять устройствами жестами автор реализовал с помощью двух сверточных нейросетей. Одна из них распознает объекты в кадре, а вторая распознает жесты руки. Если алгоритмы получают комбинацию из известных объекта и жеста, очки посредством Wi-Fi посылают команду на искомое устройство.

Для обучения алгоритмов разработчик собрал самостоятельно два датасета, состоящих из более 10 тысяч кадров объектов и жестов, снятых с разных ракурсов и в разных условиях освещения. Сам инженер научил систему принимать в качестве команды лишь взмах руки, однако он выложил код и обучающие данные на GitHub, поэтому любой желающий может дообучить модель для своих жестов.

Источник: N+1