Лицо цифрового аватара создано по той же технологии анимации, что и The Last of Us II.
Исследователи из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли в партнерстве с эдинбургской компанией Speech Graphics разработали новаторскую систему связи, которая позволяет женщине, парализованной вследствие инсульта, общаться через цифровой аватар – им она управляет с помощью интерфейса мозг-компьютер (BCI).
BCI-устройства позволяют отследить аналоговые сигналы, созданные мозгом, и превратить их в цифровые, которые может понять компьютер.
Исследователи кафедры неврологической хирургии имплантировали в языковой центр мозга пациентки 253-контактный массив электродов, который отслеживает и фиксирует сигналы, обычно приводящие в движение мышцы челюсти, губ и языка – а в этом случае передают их через кабельный порт в ее черепе на компьютер. (Вычислительный стек работает с помощью искусственного интеллекта, который в течение нескольких недель изучал шаблоны электрических сигналов пациентки из более 1000 слов).
Используя интерфейс, пациентка может написать свои ответы или говорить с помощью искусственного голоса, обученного на записях ее собственного, сделанных до паралича.
Остальную работу (создание цифрового аватара) выполнила Speech Graphics – та самая компания, которая разработала технологию фотореалистической анимации лица с Halo Infinite и The Last of Us Part II. Инструмент получает необходимые движения лица на основе анализа входного аудио, а затем передает эти данные в режиме реального времени в игровой движок, чтобы анимировать их в аватар без задержек.
«Создание цифрового аватара, который может говорить, отображать эмоции и артикулировать в режиме реального времени, подключенного непосредственно к мозгу субъекта, демонстрирует потенциал использования управляемых искусственным интеллектом лиц далеко за пределами видеоигр», – говорит Майкл Бергер, технический директор и соучредитель Speech Graphics.
Технология BCI появилась в начале 70-х годов и медленно развивалась в последующие десятилетия. Впрочем, прогресс в области обработки данных и вычислительных систем помог оживить сферу, и сейчас несколько стартапов соревнуются за то, чтобы стать первыми через процесс одобрения Управления по продовольствию и медикаментам США (FDA).
Базирующаяся в Бруклине Synchron попала в заголовки газет в прошлом году, когда стала первой компанией, которая успешно имплантировала BCI пациенту. Neuralink Илона Маска получила разрешение на испытания на людях в начале этого года после того, как было установлено, что компания убила десятки испытуемых животных в предыдущих раундах тестирования.
Исследование было опубликовано в журнале Nature и адаптировано сайтом Engadget.
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.