Группа исследователей Массачусетского технологического института (MIT), а также компаний Adobe и Microsoft совместными усилиями разработали уникальный алгоритм, который позволяет распознать звук методом анализа микроскопических колебаний объекта, запечатленного на видео с высокой кадровой частотой.
Предложенная исследователями методика подразумевает использование эффекта плавающего затвора в цифровых камерах, когда считывание заряда с активных пикселей сенсора изображения производится построчно, чтобы обнаружить связанные с распространением в пространстве звуковой волны колебания определенного тела. Как известно, звуковая волна, создаваемая определенным источником, может передавать энергию колебаний другому телу.
С аппаратной точки зрения единственным приспособлением, которое необходимо для «прослушивания» этих колебаний объекта, является камера, способная записывать видео с кадровой частотой больше, чем частота звука. Сообщается, что в ходе экспериментов использовались камеры, способные снимать с частотой 6000 кадров в секунду.
В ходе одного из экспериментов исследователям удалось считать человеческую речь с поверхности упаковки картофельных чипсов, находящейся на расстоянии 4,6 метра. При этом между упаковкой чипсов и источником звука находилось звуконепроницаемое стекло. В других тестах ученые опирались на колебания алюминиевой фольги и комнатных растений.
Разработанный исследователи алгоритм позволяет распознать голосовую речь даже при анализе видеороликов с частотой 60 кадров в секунду, но в этом случае точность распознавания оставляет желать лучшего, слова практически невозможно разобрать.
Разработка может найти применение во многих областях. Она может заинтересовать правоохранительные органы, которые могут использовать технологию для слежки за подозреваемыми. Кроме того, данная методика позволяет определить свойства любого материала, без необходимости непосредственного контакта с ним. Остается надеяться, что технология будет больше применяться в научных, нежели шпионских целях.
Источник: MIT News
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.