Обличчя цифрового аватара створено за тією ж технологією анімації, що й у The Last of Us II.
Дослідники з Каліфорнійського університету в Сан-Франциско та Каліфорнійського університету в Берклі у партнерстві з единбурзькою компанією Speech Graphics розробили новаторську систему зв’язку, яка дозволяє жінці, яка була паралізована внаслідок інсульту, спілкуватися через цифровий аватар – ним вона керує за допомогою інтерфейсу мозок-комп’ютер (BCI).
BCI-пристрої дозволяють відстежити аналогові сигнали, створені мозком, та перетворити їх на цифрові, які може зрозуміти комп’ютер.
Дослідники кафедри неврологічної хірургії імплантували у мовний центр мозку пацієнтки 253-контактний масив електродів, який відстежує та фіксує сигнали, що зазвичай приводять у рух м’язи щелепи, губ та язика – а в цьому випадку передають їх через кабельний порт у її черепі до комп’ютера. (Обчислювальний стек працює за допомогою штучного інтелекту, який протягом кількох тижнів вивчав шаблони електричних сигналів пацієнтки у понад 1000 слів).
Використовуючи інтерфейс, пацієнтка може написати свої відповіді, або говорити за допомогою штучного голосу, навченого на записах її власного, зроблених до паралічу.
Решту роботи (створення цифрового аватара) виконала Speech Graphics – та сама компанія, яка розробила технологію фотореалістичної анімації обличчя з Halo Infinite і The Last of Us Part II. Інструмент отримує необхідні рухи обличчя на основі аналізу вхідного аудіо, а потім передає ці дані в режимі реального часу в ігровий рушій, щоб анімувати їх в аватар без затримок.
«Створення цифрового аватара, який може говорити, відтворювати емоції та артикулювати в режимі реального часу, підключеного безпосередньо до мозку суб’єкта, демонструє потенціал використання керованих штучним інтелектом облич далеко за межами відеоігор», – каже Майкл Бергер, технічний директор і співзасновник Speech Graphics.
Технологія BCI була запроваджена на початку 1970-х років і повільно розвивалася в наступні десятиліття. Утім прогрес у сфері обробки даних та обчислювальних систем допоміг оживити сферу, і наразі кілька стартапів змагаються за те, щоб стати першими через процес схвалення Управління з продовольства і медикаментів США (FDA).
Synchron, що базується в Брукліні, потрапила в заголовки газет минулого року, коли стала першою компанією, яка успішно імплантувала BCI пацієнту. Neuralink Ілона Маска отримала дозвіл на випробування на людях на початку цього року після того, як було встановлено, що компанія вбила десятки піддослідних тварин у попередніх раундах тестування.
Дослідження було опубліковане у журналі Nature та адаптоване сайтом Engadget.