Пристрій для слуху, керований мозком, у реальному часі підсилює одного мовця

Новий пристрій для слуху, керований мозком, від Колумбії, переносить знайому розчарування у нову сферу: шумну кімнату, де кожен голос здається змагається одночасно. У демонстрації в реальному часі дослідники показали систему, яка може визначити, на якого спікера слухач зосереджений, і потім посилити цей голос, знижуючи інші.

Це важливо, оскільки проблема полягає не просто у збільшенні гучності звуку. У людних умовах багато слухачів борються, оскільки їм потрібна допомога у відокремленні одного голосу від інших. Підхід Колумбії спрямований безпосередньо на цю проблему, використовуючи активність мозку, щоб з’ясувати, кого слухач насправді хоче почути.

Для деяких добровольців ефект був приголомшливим. Один учасник, за повідомленнями, думав, що дослідники таємно регулюють аудіо вручну. Насправді система зчитувала увагу у реальному часі і змінювала баланс між перекриваючимися розмовами, коли слухач зосереджувався на одному потоці мовлення.

Пристрій для слуху, керований мозком, від Колумбії у реальному часі

Дослідники Колумбії продемонстрували систему слуху, керовану мозком у реальному часі, що є значним кроком у роботі над вибірковим слуханням. У дослідженні система визначала, на якого спікера звертає увагу людина у шумному середовищі, і автоматично підсилювала цей голос, пригнічуючи конкуренцію.

Робота була опублікована у Nature Neuroscience. Так само важливо, що час реагування відрізняв її від попередніх лабораторних аналізів. Ця система реагувала під час прослуховування двох перекриваючихся розмов, регулюючи гучність у реальному часі на основі сигналів мозку.

Це перетворює ідею з розшифровки у щось ближче до активної допомоги при слуханні. Система реального часу для підсилення мовлення, яка слідкує за увагою, могла б, теоретично, допомогти з однією з найскладніших частин слухання у повсякденному житті: визначити, що має значення у натовпі, і зробити цей звук легшим для сприйняття.

Як тестували систему Колумбії

У дослідженні брали участь пацієнти з епілепсією, які проходили нейрохірургічне втручання і вже мали імплантовані електроди у мозок. Ці електроди були частиною їхнього медичного догляду, і дослідники використовували їх для вимірювання активності мозку під час слухових завдань.

Старший автор Німа Месгарані та колеги змусили пацієнтів слухати дві перекриваючіся розмови, які грали одночасно. Коли пацієнти зосереджувалися на одній із них, система відстежувала їхню активність мозку через імплантовані електроди.

Алгоритми машинного навчання потім аналізували мозкові хвилі і визначали, на яку розмову звертає увагу слухач. Як тільки система виявляла обраного спікера, вона регулювала баланс звуку у реальному часі, підсилюючи обраний голос і знижуючи інший.

Дослідники протестували налаштування двома способами:

коли учасників спрямовували до конкретної розмови

коли учасники самі обирали, яку розмову слухати

Система працювала в обох випадках, що важливо, оскільки реальні розмови не мають інструкцій щодо того, куди спрямовувати увагу.

Чому пристрій для слуху, керований мозком, важливий у шумних кімнатах

Дослідники виявили, що система правильно визначила, на яку розмову звертали увагу добровольці. Вона також покращила розбірливість мови для тієї, на яку зосереджувалися.

Що так само важливо, вона зменшила зусилля при слуханні.

Ця комбінація допомагає пояснити, чому добровольці постійно віддавали перевагу допоміжному досвіду слухання порівняно з розмовами без системи. Краща ясність — це одне; менше ментальних зусиль для підтримки — інше. Разом ці висновки свідчать, що технологія є не лише функціональною, а й легшою у використанні з точки зору слухача.

Це одна з причин, чому дослідження привертає увагу поза лабораторією. Багато технологій слуху роблять звук більш доступним. Пристрій для слуху, керований мозком, спрямований на щось більш персоналізоване: звук, відфільтрований відповідно до наміру, а не лише гучності.

Що пропонує дослідження у Nature Neuroscience далі

Більш широке значення дослідження у Nature Neuroscience полягає в тому, що воно безпосередньо вирішує проблему «кого ви хочете почути?». У шумних місцях це може бути різницею між слідуванням розмові і її відмовою.

Робота також показує, наскільки швидко нейронаука і машинне навчання рухаються разом. Тут сигнали мозку не просто записувалися і вивчалися пізніше. Вони використовувалися у реальному часі для формування того, що слухач почув далі. Цей цикл у реальному часі є ключовим проривом системи Колумбії.

Для тих, хто цікавиться дослідженнями порушень слуху, результат відкриває більш амбітне бачення допоміжного слухання: не просто голосніше звучання, а розумніше. Для вчених, що працюють над системою Колумбії, висновок свідчить, що увага сама по собі може стати корисним сигналом управління, коли мова змагається за увагу слухача.

Один із добровольців сформулював обіцянку у дуже особистих термінах, уявляючи члена сім’ї з проблемами слуху і уявляючи більш спокійне життя, якщо така технологія стане доступною. Ця реакція допомагає пояснити, чому це дослідження резонує. Воно перетворює складний нейронауковий експеримент у щось одразу людське: можливість почути голос, який має найбільше значення, навіть коли кімната не сприяє.