Якщо камери, яка «фотографує» за даними про місцеперебування вам недостатньо – то ось «фотоапарат», що генерує зображення на основі звуків. Розробник Дієго Трухільо Пісанті створив на базі Raspberry Pi сліпу камеру, що як дані для «фото» використовує навколишні звуки.
Щоб отримати зображення, достатньо навести звуковловлювач апарату на об’єкт та натиснути кнопку. Штучний інтелект розпізнає оточення та дасть результат. Спеціально для цього проєкту Пісанті розробив власну модель нейронної мережі, яку навчив на відеороликах, знятих у Мехіко. Щобільше унікальним є звук – тим кращим виходить «фото».
Для навчання моделі використовувалися усі кадри відео та остання секунда аудіо. У такий спосіб були створені асоціативні ряди, прив’язані до місцевості. Звідси випливає обмеження моделі: усі відтворені зображення нагадуватимуть столицю Мексики. Втім, подальше навчання здатне розширити географію.
Для створення камери використано модуль Raspberry Pi 3B, але можна взяти й Raspberry Pi 4. На комп’ютері працює софт Tensorflow. Камера також має невеликий екран-«видошукач», що дозволяє стежити за процесом створення зображень і бачити результат. Корпус та звуковловлювач надруковані на 3D-принтері.
Модель ШІ, що використовується для навчання сліпої камери, створена за допомогою Python 3. Вона призначена для роботи з Tensorflow 2 і запускається на Raspberry Pi з використанням TFLite. Докладніше про проєкт можна дізнатися на сайті творця.
ШІ-модель NVIDIA Neuralangelo здатна створювати 3D-об’єкти з 2D-відео
Джерело: Tom’s Hardware
