Можно ли узнать, какую песню человек напевает про себя, не произнося ни звука? Группа исследователей из Сеульского национального университета во главе с Джии Квоном и Чун Ке Чуном попробовала ответить на этот вопрос с помощью электродов на поверхности мозга. Работа опубликована в журнале eNeuro.

Ученые опирались на простую идею: мы узнаем песню не по точной высоте нот, а по их соотношению друг с другом. Этот параметр называют относительной высотой - это расстояние между соседними звуками. Поэтому одна и та же мелодия звучит похоже и на высокой флейте, и на низком контрабасе. Мозг, судя по всему, тоже хранит мелодию как последовательность таких интервалов, а не как набор абсолютных частот.

В исследовании участвовали десять пациентов с эпилепсией, которая плохо поддавалась лечению. Им уже вживили электроды прямо на поверхность мозга для медицинского наблюдения. Этот метод записи называется электрокортикографией: он дает очень детальную картину электрической активности коры и улавливает быстрые сигналы, которые обычные датчики на коже головы часто пропускают.

Пациенты слушали короткие отрывки из знакомых детских песен, например "Янки Дудл", в трех разных тональностях. Затем их просили мысленно продолжить мелодию, не издавая ни звука. Чтобы убедиться, что участники действительно следуют за музыкой, после паузы они должны были пропеть мелодию вслух.

Пока длилось мысленное пение, ученые записывали активность мозга. Особое внимание уделялось так называемой высокочастотной гамма-активности - быстрым колебаниям, которые считаются надежным признаком активной обработки сенсорной информации. Самые полезные сигналы приходили из верхней височной извилины - области на боковой поверхности мозга, которая тесно связана с обработкой звуков.

Затем эти данные скормили программе машинного обучения. Она должна была научиться распознавать, какую относительную ноту человек представляет в каждый короткий отрезок времени. Модель различала шесть классов относительной высоты, соответствующих слогам "до", "ре", "ми", "фа", "соль" и "ля".

Когда программу проверили на новых записях, точность угадывания отдельной ноты оказалась скромной - в среднем около 26 процентов. Может показаться, что это мало, но случайное попадание дало бы лишь 16 процентов. Значит, модели все-таки извлекали реальную музыкальную информацию. А вот попытка определить точные частоты, то есть абсолютную высоту нот, провалилась: результат не отличался от случайного угадывания и не был статистически значимым. Это подтверждает взгляд, что мозг представляет воображаемую мелодию прежде всего через отношения между звуками.

Зато когда отдельные предсказания соединили в последовательность, ученые смогли восстановить общий контур мелодии - ее подъемы и спады. Даже если конкретная нота была угадана неверно, рисунок песни в целом сохранялся. Самый ценный вклад в работу моделей внесла активность верхней височной извилины с обеих сторон мозга. Полезные сигналы нашлись и в левой прецентральной извилине, которая обычно связана с планированием движений. Возможно, когда мы мысленно поем, мозг незаметно репетирует движения, нужные для настоящего пения.

У метода есть серьезные ограничения. Точность предсказания отдельных нот остается низкой, восстановить мелодию нота в ноту пока нельзя. К тому же в эксперименте использовались только хорошо знакомые детские песни - их легко и стабильно представлять в уме. Смогут ли модели разобрать новую или спонтанно придуманную мелодию, неизвестно. Наконец, электроды требуют хирургической операции, поэтому технология применима только в клинике и не годится для обычного носиемого устройства. Будущие работы, вероятно, проверят, можно ли получить похожие данные неинвазивными способами и расширить диапазон распознаваемых нот.

Источник: PsyPost