67-летней пациентке, которая добровольно согласилась принять участие в эксперименте Стэндфордского университета, установили мозговой имплант — после чего она смогла издавать простейшие фразы со скоростью 62 слова в минуту (втрое превышает предыдущий рекордный показатель).
Способность к речи женщина потеряла 8 лет назад после того, как ей установили диагноз БАС (боковой амиотрофический склероз, или болезнь Лу Герига). Из-за прогрессирующего паралича она может издавать только отдельные звуки, а для общения использует доску для письма или iPad.
Филипп Сабес, исследователь Калифорнийского университета в Сан-Франциско, не принимавший участия в проекте, назвал результаты исследования «большим прорывом» и сказал, что экспериментальная технология считывания мозга готова покинуть лабораторию и совсем скоро сможет помочь парализованным людям частично возобновить речь.
«Производительность, указанная в статье, достигла уровня, которого желали бы многие люди, которые не могут говорить», — говорит Сабес.
Текстовое общение, даже в эпоху клавиатур и гаджетов с разнообразными эмодзи, остается самой быстрой формой общения между людьми. Люди без дефектов речи обычно говорят со скоростью около 160 слов в минуту.
Препринт команды из Стэнфордского университета привлек дополнительное внимание в Twitter из-за смерти его соавтора Кришны Шеноя от рака поджелудочной железы. Исследователь посвятил значительную часть своей жизни мозговым интерфейсам, направленным на повышение скорости коммуникации. В 2019 году другому пациенту-волонтеру, с которым работал Шеной, удалось использовать свои мысли, чтобы печатать со скоростью 18 слов в минуту, что стало рекордным показателем того времени.
Интерфейсы «мозг-компьютер», с которыми работает команда Шеноя, используют небольшую подушку с острыми электродами, встроенную в моторную кору — область мозга человека, отвечающая за координацию, планирование и выполнение добровольных сознательных движений через их связь. Это позволяет исследователям регистрировать активность нескольких десятков нейронов одновременно и находить закономерности, отражающие движения, о которых думает человек, даже если он парализован (в предыдущей работе добровольцев просили представить движения рук).
«Расшифровывая» нейронные сигналы в режиме реального времени, имплантаты позволяют парализованному управлять курсором по экрану, выбирать буквы на виртуальной клавиатуре, играть в видеоигры или даже управлять роботизированной рукой.
В своем новом исследовании команда из Стэнфорда хотела узнать, содержат ли нейроны в моторной коре полезную информацию о речевых движениях. То есть могли ли они определить, как пациент пытался двигать ртом и голосовыми связями, когда хотел заговорить?
Это небольшие, незаметные движения, и, по словам Сабеса, наибольшее открытие состоит в том, что лишь несколько нейронов содержат достаточно информации, чтобы позволить компьютерной программе точно предсказать, какие слова пытается сказать пациент.
Новый результат основан на предыдущей работе Эдварда Чанга из Калифорнийского университета в Сан-Франциско — он писал, что речь включает в себя самые сложные движения, которые совершают люди. Мы выталкиваем воздух, добавляем вибрации, делающие его слышимым, и формируем из него слова ртом, губами и языком. Чтобы произнести звук «ф», мы кладем верхние зубы на нижнюю губу и выталкиваем воздух — это лишь одно из десятков движений рта, необходимых для того, чтобы заговорить.
Ранее Чанг использовал электроды, расположенные в верхней части мозга, чтобы позволить пациенту-волонтёру общаться через компьютер, но исследователи из Стэнфорда говорят, что их система более точная и втрое-вчетверо быстрее.
«Наши результаты показывают возможный путь для возобновления общения людей с параличом на скорости, которая необходима для разговора», — написали исследователи, среди которых были Шеной и нейрохирург Джейми Хендерсон.
Дэвид Мозес, работающий с командой Чанга, говорит, что текущая работа достигла «поразительных новых показателей эффективности». Но даже, несмотря на то, что рекорды продолжают бить, по его словам, «важно демонстрировать стабильную и надежную производительность в течение многолетних временных масштабов». Любому коммерческому мозговому имплантату будет трудно получить одобрение регуляторов, особенно если со временем его точность и производительность будут падать.
Впереди разработка более сложных имплантов и, вероятно, более тесная их интеграция с искусственным интеллектом. Текущая система уже использует несколько типов машинного обучения: для повышения ее точности использовалось программное обеспечение, которое предугадывало, какое слово обычно следует в предложении (например то, что за «I» чаще следует «am», чем «ham», хотя эти слова звучат похоже и могут вызвать схожие шаблоны в чьем-то мозге). И именно это увеличило скорость результата.
Большие языковые модели, такие как GPT-3, способны писать целые эссе и отвечать на вопросы. Подключение их к мозговым интерфейсам может позволить людям, использующим систему, говорить еще быстрее просто потому, что система будет лучше угадывать, что они пытаются сказать на основе частичной информации.
«Успех больших языковых моделей в последние несколько лет заставляет меня думать, что языковой протез под рукой, потому что, возможно, и не нужен столь впечатляющий входящий сигнал для передачи речи», — говорит Сабес.
Группа Шеноя является частью консорциума под названием BrainGate, установившего электроды в мозг более десятка добровольцев. Они используют имплантат под названием Utah Array – жесткий металлический квадрат с примерно 100 игольчатыми электродами.
Некоторые компании, включая Neuralink Илона Маска, занимающаяся разработкой мозговых интерфейсов, и стартап под названием Paradromics, говорят, что они разработали более современные технологии, которые могут считывать данные из тысяч — даже десятков тысяч — нейронов одновременно.
Несмотря на то, что некоторые скептики спрашивают, будет ли иметь значение измерение на нескольких нейронах одновременно, новый отчет предполагает, что будет, особенно если работа заключается в считывании сложных движений мозга, таких как речь. Ученые из Стенфорда обнаружили, что чем больше нейронов они считывают одновременно, тем меньше ошибок они совершают, пытаясь понять, что сказал пациент.
«Это свидетельствует, что попытки таких компаний, как Neuralink, установить 1000 электродов в мозг, будут иметь большое значение», — говорит Сабес, ранее работавший старшим научным сотрудником в Neuralink.
Источник: Technologyreview