Американские исследователи смогли реконструировать узнаваемую версию композиции Pink Floyd Another Brick in the Wall из импульсов височной доли мозга участников эксперимента, слушавших трек.
«Мы реконструировали классическую песню Pink Floyd Another Brick in the Wall из прямых сигналов коры головного мозга человека, что дало представление о нейронных основах восприятия музыки и о будущих возможностях декодирования [активности] мозга», — говорит нейробиолог Людовик Белье из Калифорнийского университета.
Ученые пытались узнать, как паттерны активности мозга сопоставляются с характеристиками музыки, такими как высота тона и гармония. Они обнаружили, что часть слухового комплекса мозга, называемая верхней височной извилиной (superior temporal gyrus, STG), связана с ритмом. Представляется, что именно эта область важна с точки зрения восприятия и понимания музыки.
Чтобы собрать необходимые данные, ученые исследовали мозг 29 добровольцев, которым ранее уже имплантировали мозговые электроды для лечения эпилепсии. В общей сложности 2668 электродов были проверены на наличие нейронных паттернов во время прослушивания музыки Pink Floyd.
Данные были проанализированы с помощью машинного обучения – модели декодирования на основе регрессии. Система искала корреляции между играемой музыкой и активностью мозга.
Затем система была испробована в обратном направлении: по активности мозга был восстановлен музыкальный фрагмент. Семпл, доступный по ссылке, крайне размыт, но в целом можно понять, о какой песне идет речь.
Исследование имеет прямое практическое значение: оно в перспективе способно помочь людям с поврежденным слухом воспринимать музыку и речь, а также воспроизводить речь, включая тон и интонацию тем людям, которые не могут сделать этого обычным способом. Также полученные данные поспособствуют созданию интерфейсов мозг-машина.
Исследование опубликовано в журнале PLOS Biology.
Источник: ScienceAlert