Дослідник нейротехнологічних прототипів Стерлінг Кріспін, який протягом 3,5 років працював в команді Vision Pro, після анонсу гарнітури Apple поділився кількома цікавими інсайдами – зокрема тим, які саме експерименти проводила компанія для того, щоб розробити новітню технологію.
Більшість дослідів неможливо розкрити через угоду про нерозголошення, однак деякі стали публічними через патенти, тож Кріспін вирішив коротко згадати саме про них. Основна частина роботи, за словами дослідника, була присвячена «виявленню психологічного стану користувачів» на основі аналізу даних їхнього тіла та мозку, коли ті перебували в умовах «занурення» у віртуальну реальність.
Моделі штучного інтелекту Apple таким чином вчились передбачати відчуття та емоції людей – наприклад, чи відчувають вони цікавість, страх, на що звертають увагу і чи згадують минулий досвід. За словами дослідника, усі ці дані можуть надати детальні вимірювання – такі як відстеження руху очей, електричної активності мозку, частоти серцевих скорочень, м’язової активності, рівню артеріального тиску тощо.
У результаті вдавалось передбачити навіть те, що користувач збирається натиснути ще до того, як він це зробив.
«Таким чином, можна створити біологічний зворотний зв’язок із мозком користувача, відстежуючи поведінку його очей і переробляючи інтерфейс в режимі реального часу. Це грубий мозковий комп’ютерний інтерфейс, який використовує очі, але це дуже круто».
Решта трюків для визначення когнітивного стану користувачів передбачали швидку демонстрацію візуальних зображень або звуку у спосіб, який вони могли не сприймати, а потім вимірювати їхні реакції на це. Інший патент докладно розповідає про використання машинного навчання та сигналів від тіла й мозку, щоб передбачити, наскільки людина зосереджена чи розслаблена. Далі – віртуальне середовище оновлювали для покращення цих станів.