Парализованная женщина «заговорила» через цифровой аватар с помощью интерфейса мозг-компьютер

Опубликовал
Катерина Даньшина

Лицо цифрового аватара создано по той же технологии анимации, что и The Last of Us II.

Исследователи из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли в партнерстве с эдинбургской компанией Speech Graphics разработали новаторскую систему связи, которая позволяет женщине, парализованной вследствие инсульта, общаться через цифровой аватар – им она управляет с помощью интерфейса мозг-компьютер (BCI).

BCI-устройства позволяют отследить аналоговые сигналы, созданные мозгом, и превратить их в цифровые, которые может понять компьютер.

Исследователи кафедры неврологической хирургии имплантировали в языковой центр мозга пациентки 253-контактный массив электродов, который отслеживает и фиксирует сигналы, обычно приводящие в движение мышцы челюсти, губ и языка – а в этом случае передают их через кабельный порт в ее черепе на компьютер. (Вычислительный стек работает с помощью искусственного интеллекта, который в течение нескольких недель изучал шаблоны электрических сигналов пациентки из более 1000 слов).

Онлайн-курс "Нотації BPMN" від Laba.
Опануйте мову BPMN для візуалізації бізнес-процесів, щоб впорядкувати хаос у них.Після курсу ви точно знатимете, що саме обрати для розв’язання завдань вашого бізнесу.
Дізнатись більше

Используя интерфейс, пациентка может написать свои ответы или говорить с помощью искусственного голоса, обученного на записях ее собственного, сделанных до паралича.

Остальную работу (создание цифрового аватара) выполнила Speech Graphics – та самая компания, которая разработала технологию фотореалистической анимации лица с Halo Infinite и The Last of Us Part II. Инструмент получает необходимые движения лица на основе анализа входного аудио, а затем передает эти данные в режиме реального времени в игровой движок, чтобы анимировать их в аватар без задержек.

«Создание цифрового аватара, который может говорить, отображать эмоции и артикулировать в режиме реального времени, подключенного непосредственно к мозгу субъекта, демонстрирует потенциал использования управляемых искусственным интеллектом лиц далеко за пределами видеоигр», – говорит Майкл Бергер, технический директор и соучредитель Speech Graphics.

Технология BCI появилась в начале 70-х годов и медленно развивалась в последующие десятилетия. Впрочем, прогресс в области обработки данных и вычислительных систем помог оживить сферу, и сейчас несколько стартапов соревнуются за то, чтобы стать первыми через процесс одобрения Управления по продовольствию и медикаментам США (FDA).

Базирующаяся в Бруклине Synchron попала в заголовки газет в прошлом году, когда стала первой компанией, которая успешно имплантировала BCI пациенту. Neuralink Илона Маска получила разрешение на испытания на людях в начале этого года после того, как было установлено, что компания убила десятки испытуемых животных в предыдущих раундах тестирования.

Исследование было опубликовано в журнале Nature и адаптировано сайтом Engadget.

Disqus Comments Loading...