Устройство для слуха с управлением мозгом усиливает одного говорящего в реальном времени

Новое устройство для слуха с управлением мозгом от Колумбии выводит знакомое разочарование на новый уровень: шумную комнату, где каждый голос кажется конкурирующим одновременно. В демонстрации в реальном времени исследователи показали систему, которая может определить, на какого говорящего слушатель сосредоточен, а затем усилить этот голос, снижая другие.

Это важно, потому что проблема не просто в увеличении громкости звука. В многолюдных условиях многие слушатели испытывают трудности, потому что им нужна помощь в отделении одного голоса от остальных. Подход Колумбии напрямую решает эту проблему, используя активность мозга, чтобы понять, кого именно слушатель хочет услышать.

Для некоторых участников эффект был поразительным. Один из участников, по сообщениям, думал, что исследователи тайно регулируют аудио вручную. Вместо этого система считывала внимание в реальном времени и меняла баланс между пересекающимися разговорами по мере того, как слушатель сосредотачивался на одном потоке речи.

Устройство Колумбии с управлением мозгом в реальном времени

Исследователи Колумбии продемонстрировали систему слуха, управляемую мозгом в реальном времени, что стало заметным шагом в области селективного прослушивания. В исследовании система определяла, на какого говорящего человек обращает внимание в шумной среде, и автоматически усиливала этот голос, подавляя конкурирующую речь.

Работа была опубликована в журнале Nature Neuroscience. Не менее важно, что временные показатели отличали её от предыдущих лабораторных анализов. Эта система реагировала, пока слушатель слышал два пересекающихся разговора, регулируя громкость в реальном времени на основе сигналов мозга человека.

Это превращает идею из упражнения по декодированию в нечто большее — в активное средство помощи при прослушивании. Система реального времени для усиления речи, которая следует за вниманием, в принципе, может помочь с одной из самых сложных задач при слушании в повседневной жизни: определить, что важно в толпе, и сделать этот звук легче для восприятия.

Как тестировали систему Колумбии

В исследовании участвовали пациенты с эпилепсией, проходившие нейрохирургическую операцию, у которых уже были имплантированы электроды в мозг. Эти электроды использовались в рамках их медицинского ухода, а исследователи измеряли активность мозга во время задач по прослушиванию.

Старший автор Нима Месгарани и коллеги заставляли пациентов слушать два пересекающихся разговора, воспроизводимых одновременно. Пока пациенты сосредотачивались на одном из них, система отслеживала их активность мозга через имплантированные электроды.

Машинное обучение затем анализировало мозговые волны и определяло, на какой разговор обращает внимание слушатель. Как только система обнаруживала выбранного говорящего, она в реальном времени регулировала баланс звука, увеличивая выбранный разговор и уменьшая другой.

Исследователи проверяли работу системы двумя способами:

когда участники были направлены к определённому разговору

когда участники свободно выбирали, какой разговор слушать

Система работала в обоих случаях, что важно, потому что реальные разговоры не сопровождаются инструкциями о том, куда направлять внимание.

Почему устройство с управлением мозгом важно в шумных комнатах

Учёные обнаружили, что система правильно определяла, на какой разговор обращают внимание добровольцы. Она также улучшала разборчивость речи для того, на что сосредотачивались.

Не менее важно, что она снижала усилия при прослушивании.

Это сочетание помогает объяснить, почему участники постоянно предпочитали опыт с помощью системы по сравнению с разговорами без её помощи. Лучше ясность — это одно; меньше умственных затрат — другое. Совместно эти выводы свидетельствуют о том, что технология не только функциональна, но и проще в использовании с точки зрения слушателя.

Это одна из причин, почему исследования привлекают внимание за пределами лаборатории. Многие технологии слуха делают звук более доступным. Устройство с управлением мозгом указывает на нечто более персонализированное: звук, фильтрованный в соответствии с намерением, а не только по громкости.

Что говорит исследование Nature Neuroscience о следующем шаге

Более широкое значение исследования в Nature Neuroscience заключается в том, что оно напрямую решает проблему «кого вы хотите услышать?». В шумных местах это может стать разницей между тем, чтобы следовать за разговором, и его потерей.

Работа также показывает, как быстро нейронаука и машинное обучение развиваются вместе. Здесь сигналы мозга не просто записывались и изучались позже. Они использовались в реальном времени для формирования следующего восприятия слушателя. Этот цикл в реальном времени — ключевое достижение системы Колумбии.

Для тех, кто интересуется исследованиями нарушений слуха, результат открывает более амбициозное видение вспомогательного прослушивания: не просто громче звук, а умнее. Для ученых, создавших систему Колумбии, вывод предполагает, что внимание само по себе может стать полезным управляющим сигналом, когда речь конкурирует за ухо слушателя.

Один из участников выразил обещание в очень личных терминах, подумав о члене семьи с проблемами слуха и представляя более спокойную жизнь, если такую технологию можно было бы использовать. Эта реакция помогает понять, почему это исследование вызывает отклик. Оно превращает сложный нейронаучный эксперимент в нечто немедленно человеческое: возможность услышать голос, который важен больше всего, даже когда комната не способствует.