Блоги

Инженер-энтузиаст создал очки, с помощью которых можно управлять умным домом жестами

Инженер-энтузиаст создал очки, с помощью которых можно управлять умным домом жестами

Американский инженер-энтузиаст создал умные очки, понимающие, на какой именно предмет, подключенный к системе умного дома, смотрит пользователь, и распознающие его жесты по отношению к этому предмету. К примеру, они позволяют взмахом руки включить лампу или музыку на колонке, рассказывает разработчик на странице проекта на GitHub.

Как сообщается, в основе устройства лежат, как ни странно, не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительная электроника. На одной из дужек инженер закрепил камеру для одноплатного компьютера Raspberry Pi, которая через провод подключена к плате NVIDIA Jetson Nano. Эту плату инженер разместил в картонной коробке, которую можно повесить на шею.

Инженер-энтузиаст создал очки, с помощью которых можно управлять умным домом жестамиВозможность управлять устройствами жестами автор реализовал с помощью двух сверточных нейросетей. Одна из них распознает объекты в кадре, а вторая распознает жесты руки. Если алгоритмы получают комбинацию из известных объекта и жеста, очки посредством Wi-Fi посылают команду на искомое устройство.

Курс
УПРАВЛІННЯ КОМАНДОЮ
Зберіть свою команду мрії та ведіть її до спільної мети.
РЕЄСТРУЙТЕСЯ!
Team

Для обучения алгоритмов разработчик собрал самостоятельно два датасета, состоящих из более 10 тысяч кадров объектов и жестов, снятых с разных ракурсов и в разных условиях освещения. Сам инженер научил систему принимать в качестве команды лишь взмах руки, однако он выложил код и обучающие данные на GitHub, поэтому любой желающий может дообучить модель для своих жестов.

Источник: N+1


Завантаження коментарів...

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: