Thiết bị nghe kiểm soát bằng não tăng cường một người nói trong thời gian thực

Thiết bị nghe kiểm soát bằng não mới từ Columbia đang đẩy một sự thất vọng quen thuộc vào lĩnh vực mới: phòng ồn nơi mọi giọng nói dường như cạnh tranh cùng lúc. Trong một buổi trình diễn trực tiếp, các nhà nghiên cứu đã trình bày một hệ thống có thể phát hiện ra người nói mà người nghe đang tập trung vào và sau đó tăng cường giọng nói đó trong khi giảm các giọng khác.

Điều này quan trọng vì thách thức không chỉ đơn thuần là làm âm thanh to hơn. Trong các môi trường đông đúc, nhiều người nghe gặp khó khăn vì họ cần giúp đỡ để phân biệt một giọng nói với những giọng còn lại. Phương pháp của Columbia đi thẳng vào vấn đề đó, sử dụng hoạt động não để xác định chính xác ai là người mà người nghe thực sự muốn nghe.

Đối với một số tình nguyện viên, hiệu ứng này đã gây sốc. Một người tham gia được cho là nghĩ rằng các nhà nghiên cứu phải đang điều chỉnh âm thanh một cách bí mật bằng tay. Thực tế, hệ thống đang đọc tín hiệu chú ý trong thời gian thực và thay đổi cân bằng giữa các cuộc trò chuyện chồng chéo khi người nghe tập trung vào một luồng lời nói.

Thiết bị nghe kiểm soát bằng não theo thời gian thực của Columbia

Các nhà nghiên cứu của Columbia đã trình bày một hệ thống nghe kiểm soát bằng não theo thời gian thực, đánh dấu một bước tiến đáng kể trong công việc về khả năng nghe chọn lọc. Trong nghiên cứu, hệ thống xác định người nghe đang chú ý đến ai trong một môi trường ồn ào và tự động khuếch đại giọng nói đó trong khi ức chế các lời nói cạnh tranh.

Công trình này đã được công bố trên tạp chí Nature Neuroscience. Điều quan trọng không kém, thời gian phản hồi đã phân biệt nó với các phân tích chỉ trong phòng thí nghiệm trước đó. Hệ thống phản ứng trong khi người nghe đang nghe hai cuộc trò chuyện chồng chéo, điều chỉnh âm lượng dựa trên tín hiệu não của người đó trong thời gian thực.

Điều này biến ý tưởng từ một bài phân tích giải mã thành một thứ gần hơn với một trợ giúp nghe chủ động. Một hệ thống khuếch đại lời nói theo thời gian thực theo dõi chú ý có thể, về lý thuyết, giúp giải quyết một trong những phần khó nhất của việc nghe trong đời sống hàng ngày: quyết định điều gì quan trọng trong đám đông và làm cho âm thanh đó dễ theo dõi hơn.

Cách hệ thống nghe của Columbia được thử nghiệm

Nghiên cứu liên quan đến các bệnh nhân động kinh đang phẫu thuật não, đã cấy điện cực vào não của họ. Các điện cực này là một phần của chăm sóc y tế của họ, và các nhà nghiên cứu đã sử dụng chúng để đo hoạt động não trong các nhiệm vụ nghe.

Tác giả chính Nima Mesgarani và các đồng nghiệp đã cho bệnh nhân nghe hai cuộc trò chuyện chồng chéo cùng lúc. Khi bệnh nhân tập trung vào một cuộc trò chuyện, hệ thống theo dõi hoạt động não của họ qua các điện cực cấy ghép.

Các thuật toán học máy sau đó phân tích sóng não và xác định cuộc trò chuyện mà người nghe đang chú ý. Khi hệ thống phát hiện ra người nói mà họ chú ý, nó điều chỉnh cân bằng âm thanh trong thời gian thực, tăng cường cuộc trò chuyện đã chọn và làm giảm cuộc còn lại.

Các nhà nghiên cứu đã thử nghiệm thiết lập này theo hai cách:

khi các đối tượng được hướng dẫn tập trung vào một cuộc trò chuyện cụ thể

khi các đối tượng tự do chọn cuộc trò chuyện để theo dõi

Hệ thống hoạt động tốt trong cả hai tình huống, điều này quan trọng vì các cuộc trò chuyện thực tế không đi kèm hướng dẫn về nơi cần tập trung chú ý.

Tại sao thiết bị nghe kiểm soát bằng não lại quan trọng trong phòng ồn

Các nhà khoa học phát hiện ra rằng hệ thống xác định chính xác cuộc trò chuyện mà các tình nguyện viên đang chú ý. Nó cũng cải thiện khả năng hiểu lời nói của họ.

Điều quan trọng không kém, nó giảm nỗ lực nghe.

Sự kết hợp này giúp giải thích tại sao các tình nguyện viên luôn thích trải nghiệm nghe trợ giúp hơn là các cuộc trò chuyện không có hệ thống hỗ trợ. Sự rõ ràng tốt hơn là một chuyện; cần ít căng thẳng tinh thần hơn để theo kịp là chuyện khác. Những phát hiện này cho thấy công nghệ không chỉ hoạt động mà còn dễ sử dụng hơn từ góc nhìn của người nghe.

Đây là một lý do khiến nghiên cứu thu hút sự chú ý ngoài phòng thí nghiệm. Nhiều công nghệ nghe giúp âm thanh trở nên dễ tiếp cận hơn. Một thiết bị nghe kiểm soát bằng não hướng tới một điều gì đó cá nhân hơn: âm thanh được lọc theo ý định, không chỉ theo âm lượng.

Những gì nghiên cứu của Nature Neuroscience gợi ý tiếp theo

Ý nghĩa rộng hơn của nghiên cứu trên tạp chí Nature Neuroscience là nó giải quyết trực tiếp vấn đề “bạn muốn nghe ai?” Trong những nơi ồn ào, đó có thể là sự khác biệt giữa việc theo dõi một cuộc trò chuyện và từ bỏ nó.

Công trình cũng cho thấy sự tiến bộ nhanh chóng của khoa học thần kinh và học máy đang đi cùng nhau. Ở đây, tín hiệu não không chỉ được ghi lại và nghiên cứu sau đó. Chúng được sử dụng ngay trong khoảnh khắc để định hình những gì người nghe sẽ nghe tiếp theo. Chu trình phản hồi theo thời gian thực đó là bước đột phá cốt lõi của hệ thống nghe của Columbia.

Đối với những người quan tâm đến nghiên cứu về suy giảm thính lực, kết quả mở ra một tầm nhìn tham vọng hơn về trợ giúp nghe: không chỉ âm thanh to hơn, mà còn thông minh hơn. Đối với các nhà khoa học đứng sau hệ thống nghe của Columbia, phát hiện này gợi ý rằng sự chú ý cũng có thể trở thành một tín hiệu điều khiển hữu ích khi lời nói cạnh tranh để thu hút tai người nghe.

Một tình nguyện viên đã diễn đạt lời hứa này theo cách rất cá nhân, nghĩ về một thành viên trong gia đình gặp vấn đề về thính giác và hình dung một cuộc sống yên bình hơn nếu có thể truy cập công nghệ như vậy. Phản ứng đó giúp giải thích tại sao nghiên cứu này lại gây ấn tượng. Nó biến một thí nghiệm thần kinh học phức tạp thành một điều gì đó ngay lập tức mang tính nhân văn: khả năng nghe giọng nói mà bạn quan tâm nhất, ngay cả khi phòng không hợp tác.