Perangkat pendengaran yang dikendalikan otak meningkatkan satu pembicara secara waktu nyata

Perangkat pendengaran yang dikendalikan otak dari Columbia mendorong frustrasi yang sudah dikenal ke wilayah baru: ruangan berisik di mana setiap suara tampaknya bersaing sekaligus. Dalam demonstrasi waktu nyata, para peneliti menunjukkan sistem yang dapat mendeteksi pembicara mana yang difokuskan pendengar dan kemudian meningkatkan suara itu sambil menurunkan yang lain.

Itu penting karena tantangannya bukan sekadar membuat suara lebih keras. Dalam pengaturan yang ramai, banyak pendengar kesulitan karena mereka membutuhkan bantuan memisahkan satu suara dari yang lain. Pendekatan Columbia langsung menyasar masalah itu, menggunakan aktivitas otak untuk mengetahui siapa yang sebenarnya ingin didengar pendengar.

Bagi beberapa sukarelawan, efeknya sangat mencolok. Salah satu peserta dilaporkan berpikir bahwa para peneliti pasti sedang menyesuaikan audio secara diam-diam secara manual. Sebaliknya, sistem membaca perhatian secara waktu nyata dan mengubah keseimbangan antara percakapan yang tumpang tindih saat pendengar memfokuskan perhatian pada satu aliran ucapan.

Perangkat pendengaran yang dikendalikan otak secara waktu nyata dari Columbia

Para peneliti Columbia menunjukkan sistem pendengaran yang dikendalikan otak secara waktu nyata, menandai langkah penting dalam pekerjaan tentang pendengaran selektif. Dalam studi tersebut, sistem mengidentifikasi pembicara mana yang sedang dihadiri seseorang di lingkungan berisik dan secara otomatis memperkuat suara itu sambil menekan percakapan yang bersaing.

Karya ini diterbitkan di Nature Neuroscience. Sama pentingnya, waktu responsnya membedakannya dari analisis laboratorium sebelumnya. Sistem ini merespons saat pendengar mendengarkan dua percakapan yang tumpang tindih, menyesuaikan volume secara waktu nyata berdasarkan sinyal otak orang tersebut.

Ini mengubah gagasan dari latihan decoding menjadi sesuatu yang lebih mirip alat bantu mendengarkan aktif. Sistem amplifikasi ucapan waktu nyata yang mengikuti perhatian dapat, secara prinsip, membantu salah satu bagian tersulit dari mendengar dalam kehidupan sehari-hari: memutuskan apa yang penting dalam kerumunan dan membuat suara itu lebih mudah diikuti.

Bagaimana sistem pendengaran Columbia diuji

Studi ini melibatkan pasien epilepsi yang menjalani operasi otak dan sudah dipasangi elektroda di otak mereka. Elektroda tersebut adalah bagian dari perawatan medis mereka, dan para peneliti menggunakannya untuk mengukur aktivitas otak selama tugas mendengarkan.

Penulis senior Nima Mesgarani dan kolega meminta pasien mendengarkan dua percakapan yang tumpang tindih yang diputar bersamaan. Saat pasien memfokuskan perhatian pada satu percakapan, sistem melacak aktivitas otak mereka melalui elektroda yang tertanam.

Algoritma pembelajaran mesin kemudian memeriksa gelombang otak dan mengidentifikasi percakapan mana yang sedang diperhatikan pendengar. Setelah sistem mendeteksi pembicara yang dihadiri, ia menyesuaikan keseimbangan audio secara waktu nyata, memperkuat percakapan yang dipilih dan menenangkan yang lain.

Para peneliti menguji pengaturan ini dengan dua cara:

ketika subjek diarahkan ke percakapan tertentu

ketika subjek memilih secara bebas percakapan mana yang akan diikuti

Sistem bekerja dalam kedua situasi tersebut, yang penting karena percakapan nyata tidak datang dengan instruksi tentang ke mana harus mengarahkan perhatian.

Mengapa perangkat pendengaran yang dikendalikan otak penting di ruangan berisik

Para ilmuwan menemukan bahwa sistem tersebut secara akurat mengidentifikasi percakapan mana yang difokuskan sukarelawan. Sistem ini juga meningkatkan kefasihan bicara untuk ucapan yang mereka fokuskan.

Sama pentingnya, sistem ini mengurangi usaha mendengarkan.

Kombinasi ini membantu menjelaskan mengapa sukarelawan secara konsisten lebih menyukai pengalaman mendengarkan yang dibantu dibandingkan percakapan tanpa bantuan sistem. Kejelasan yang lebih baik adalah satu hal; membutuhkan lebih sedikit tekanan mental untuk mengikuti adalah hal lain. Bersama-sama, temuan ini menunjukkan bahwa teknologi ini tidak hanya berfungsi tetapi juga lebih mudah digunakan dari sudut pandang pendengar.

Ini adalah salah satu alasan mengapa penelitian ini menarik perhatian di luar laboratorium. Banyak teknologi pendengaran membuat suara lebih tersedia. Perangkat pendengaran yang dikendalikan otak mengarah ke sesuatu yang lebih personal: suara yang disaring sesuai niat, bukan hanya volume.

Apa yang disarankan studi Nature Neuroscience selanjutnya

Signifikansi lebih luas dari studi Nature Neuroscience adalah bahwa ini langsung menangani masalah “siapa yang ingin kamu dengar?” di tempat berisik. Dalam situasi seperti itu, itu bisa menjadi perbedaan antara mengikuti percakapan dan menyerah.

Pekerjaan ini juga menunjukkan seberapa cepat neuroscience dan pembelajaran mesin bergerak bersama. Di sini, sinyal otak tidak hanya direkam dan dipelajari kemudian. Mereka digunakan secara langsung untuk membentuk apa yang didengar pendengar berikutnya. Loop waktu nyata ini adalah terobosan utama di balik sistem pendengaran Columbia.

Bagi mereka yang tertarik dalam penelitian gangguan pendengaran, hasil ini membuka visi yang lebih ambisius tentang pendengaran bantu: bukan sekadar suara yang lebih keras, tetapi suara yang lebih cerdas. Bagi para ilmuwan di balik sistem pendengaran Columbia, temuan ini menunjukkan bahwa perhatian itu sendiri dapat menjadi sinyal kontrol yang berguna saat ucapan bersaing untuk telinga pendengar.

Seorang sukarelawan menggambarkan janji ini dalam istilah yang sangat pribadi, memikirkan anggota keluarga dengan masalah pendengaran dan membayangkan kehidupan yang lebih damai jika teknologi semacam itu dapat diakses. Reaksi itu membantu menjelaskan mengapa penelitian ini begitu resonan. Ini mengubah eksperimen neuroscience yang kompleks menjadi sesuatu yang langsung manusiawi: kemungkinan mendengar suara yang paling penting bagi Anda, bahkan ketika ruangan tidak kooperatif.