Китайские ученые из Университета Цинхуа разработали голосовой помощник для смартфонов, умеющий распознавать речь по движениям губ, даже если пользователь не издает звуков.
Как сообщается, приложение состоит из двух нейросетей. Одна из них во время работы определяет лицо в кадре с камеры смартфона и после этого начинает отслеживать положение 20 контрольных точек, которые достаточно точно описывают форму губ, а также степень открытости рта, что позволяет определять моменты начала и конца команды. Затем эти данные передаются второй нейросети, которая на их основе распознает речь.
На данный момент приложение поддерживает 44 команды, часть из которых относится ко всей системе, к примеру, включение Wi-Fi, часть — к конкретным приложениям, а еще одна часть позволяет взаимодействовать с любым приложением с помощью системных служб, например, выделять текст. При этом приложение понимает контекст команд: так, если система отобразила всплывающее окно с сообщением, то пользователь сможет быстро на него ответить.
Нейросети были обучены на примерах речи 21 человека. Затем разработчики проверили точность распознавания на речи еще одного. Средняя точность распознавания оказалась равной 95,5%.
Помимо этого, авторы проверили, насколько их приложение удобнее голосового ввода в общественных местах, и провели эксперимент в пекинском метро. Во время эксперимента пять пар добровольцев оценивали конфиденциальность и комфорт использования приложения, при этом один из них выполнял команды, а второй выступал в роли пассажира.
Испытания показали, что в обоих случаях люди считают беззвучные команды более комфортными и конфиденциальными, чем голосовые команды, причем окружающие люди оценивали комфорт даже выше, чем сами пользователи.
Источник: N+1