Коллектив исследователей из Брауновского университета (Провиденс, штат Род-Айленд, США) использовал интерфейс «мозг-компьютер» для реконструкции английских слов непосредственно из нейронных сигналов, записанных в мозгу родственных человеку высших приматов. Исследование, отчет о котором опубликован в журнале «Nature Communications Biology», может стать важным шагом в направлении создания мозговых имплантатов для утративших слух людей, считают авторы.
Арто Нурмикко, профессор инженерного факультета в Брауновском университете, научный сотрудник Института мозга им. Карни при том же университете, старший автор публикации, поясняет:
«Что мы делали, так это записывали во вторичной слуховой коре сложные паттерны нервного возбуждения, возникавшие там в процессе слухового восприятия приматами определенных слов. Затем мы использовали эти нейронные данные для высокоточной реконструкции звучания слов. Наша сверхзадача – лучшее понимание процессов обработки звука в мозгу приматов, что в конечном счете может привести к разработке принципиально новых типов нейронного протезирования».
Мозговые структуры, участвующие в начальной обработке и анализе звука, у человека и высших приматов практически одинаковы. Начальный уровень обработки осуществляется в первичной слуховой коре и заключается в классификации звуков по таким параметрам, как высота или тон. Затем сигнал транслируется во вторичную слуховую кору, где проходит дальнейшую обработку. Например, при восприятии речи вторичная слуховая кора классифицирует звуки по определенным фонемам – простейшим акустическим составляющим, которые позволяют нам отличать одно слово от другого. После этого информация посылается в те аналитические зоны мозга, которые отвечают у человека за понимание речи в целом.
В силу того, что у человека и высших приматов процессы обработки звука на ранних стадиях восприятия очень схожи, целесообразно изучать эти процессы именно на животных моделях, – несмотря на то, что обезьяны могут совершенно не понимать значения воспринимаемых ими слов.
В ходе исследования два имплантата размером с горошину, оснащенные 96-канальными массивами электродов, регистрировали биоэлектрическую активность нейронов в те моменты, когда макак-резус слышал в записи некоторые английские слова. В качестве аудиограммы использовались пока самые простые, одно- или двухсложные слова, такие как «tree», «good», «north», «cricket» и «program».
Затем исследователи анализировали нейронный отклик с использованием компьютерного алгоритма, специально разработанного для распознавания паттернов нервного возбуждения, которое возникает в ответ на звучание определенных слов. Конечным шагом алгоритма была перевод сигнала обратно в речь и компьютерная ее генерация в соответствующие звуки. Использовались множественные метрики для оценки того, насколько близко реконструированная речь совпадала с изначальным произношением слов, услышанных приматом. Как показали эксперименты, точность и качество компьютерной реконструкции были достаточно высоки для того, чтобы слушатель-человек мог понимать реконструированную речь. Авторы работы утверждают, что мультиэлектродные массивы для записи столь сложной акустической информации применялись впервые.
Одной из целей исследования, экспериментальной частью которого руководил аспирант Цзихун Ли, была проверка эффективности различных моделей акустического декодирования. Серия экспериментов, осуществленная в сотрудничестве с экспертом в области вычислительной нейробиологии Уилсоном Трукколо, продемонстрировала способность нейросетей с обратной связью (RNN, разновидность самообучающихся алгоритмов, часто используемая в системах компьютерного перевода), – генерировать высококачественные реконструкции. В этой части RNN существенно превосходили более традиционные алгоритмы, которые ранее использовались для вполне эффективного декодирования сигналов, полученных из других мозговых зон.
В конечном счете, как полагают исследователи, такого рода технологии могут лечь в основу разработки нейронных имплантатов, протезирующих утраченные слуховые функции.
«Самое вдохновляющее заключается в том, что разрабатываемые нами системы обходят бо́льшую часть слухового аппарата как такового, коммутируясь непосредственно с мозгом, – говорит Нурмикко. – Те же самые микроэлектроды, которые в исследовании мы использовали для регистрации нейронной активности, однажды могут быть использованы для трансляции малых электрических сигналов в таких паттернах, которые смогут дать человеку ощущение слухового восприятия определенных слов».
