OpenAI bổ sung "khả năng quan sát tinh tế" cho AI giọng nói

Tác giả: Lý Hải Luân, Tencent Technology

Rạng sáng ngày 9 tháng 7 theo giờ Bắc Kinh, OpenAI chính thức ra mắt dòng mô hình giọng nói thế hệ mới GPT-Live, gồm hai phiên bản GPT-Live-1 và GPT-Live-1 mini, đồng thời hỗ trợ tính năng giọng nói của ChatGPT.

Bản nâng cấp cốt lõi của GPT-Live là “kiến trúc song công toàn phần”, nhấn mạnh hơn vào cách hiểu của AI giọng nói trong hội thoại. Mô hình có thể xử lý đồng thời việc lắng nghe và nói, trong quá trình trò chuyện có thể dùng các cụm từ ngắn để thể hiện đang lắng nghe, hỗ trợ luân phiên nói nhanh, và cũng có thể giữ im lặng khi người dùng đang suy nghĩ.

Nó gần với trạng thái hội thoại thực tế hơn, có thêm một chút tinh tế trong giao tiếp.

OpenAI chính thức mô tả như sau: “Trong quá trình hội thoại, GPT-Live có thể đáp lại bằng các tiếng ‘ừ ừ’, ‘yeah’ để biểu thị rằng nó đang lắng nghe, và cũng có thể trao đổi qua lại nhanh chóng; khi bạn cần một chút thời gian để suy nghĩ, nó có thể giữ im lặng. Kết quả cuối cùng mang lại là trải nghiệm tương tác giọng nói thoải mái và tự nhiên hơn.”

Khi gặp các tác vụ cần tìm kiếm web, suy luận sâu hoặc phức tạp, GPT-Live sẽ giao phó công việc cho mô hình tiên tiến ở hậu trường xử lý, và đưa kết quả trở lại cuộc hội thoại sau khi hoàn tất, trong suốt quá trình vẫn giữ cho cuộc trò chuyện không bị gián đoạn.

Khi ra mắt, mô hình hậu trường là GPT-5,5, OpenAI cho biết sẽ liên tục cập nhật hỗ trợ nền tảng khi phát hành các mô hình mới.

Vừa trò chuyện vừa làm việc

Trước đây, GPT dựa trên cốt lõi khả năng giọng nói thời gian thực, dựa vào một hệ thống luồng âm thanh độ trễ thấp: người dùng nói, mô hình nhanh chóng hiểu và phản hồi; người dùng ngắt lời, mô hình kịp thời dừng lại.

Bản nâng cấp quan trọng nhất của GPT-Live lần này là tách biệt tương tác giọng nói và suy luận sâu thành hai phần độc lập.

Khi người dùng đưa ra yêu cầu cần tìm kiếm, suy luận hoặc triệu hồi khả năng tác nhân mạnh hơn, GPT-Live sẽ giao nhiệm vụ cho mô hình hậu trường xử lý, trong khi mô hình giọng nói phía trước tiếp tục duy trì hội thoại với người dùng, cố gắng tránh làm gián đoạn nhịp giao tiếp.

“Chế độ ủy thác” này về bản chất là một sự phân công kiến trúc: phía trước, một mô hình giọng nói gốc được tối ưu hóa cho tương tác thời gian thực chịu trách nhiệm đáp lời, tạm dừng và duy trì hội thoại tự nhiên; phía sau, một mô hình suy luận độc lập chịu trách nhiệm tìm kiếm, tính toán, gọi công cụ và thực hiện các tác vụ phức tạp.

Cả hai hoạt động riêng rẽ, công cụ suy luận có thể thay đổi bất cứ lúc nào khi công nghệ tiến triển, trải nghiệm của mô hình giọng nói có thể được nâng cấp mà không cần đào tạo lại.

Đối với ứng dụng doanh nghiệp, giá trị của kiến trúc song công toàn phần nằm ở chỗ tác nhân giọng nói có thể hoàn thành các tác vụ hậu trường như truy vấn cơ sở dữ liệu, tìm kiếm mạng, suy luận nhiều bước mà không làm gián đoạn nhịp hội thoại. Trước đây, các thao tác này thường gây ra im lặng vài giây, khiến người dùng rõ ràng cảm thấy “hệ thống đang xử lý”. Giờ đây, chúng có thể được ẩn giấu trong nhịp giao tiếp tự nhiên hơn.

Dữ liệu đánh giá phản ánh hiệu quả của thiết kế tách biệt.

Theo giới thiệu chính thức, trong so sánh trực tiếp giữa GPT-Live-1 và Advanced Voice Mode, mô hình trước vượt trội rõ rệt về sở thích tổng thể, luân phiên phát biểu, ngắt lời, độ trôi chảy hội thoại và mức độ tự nhiên của mỗi tương tác trong các cuộc hội thoại dài 5 đến 10 phút, với sở thích tổng thể đạt 75,7%.

Trong bài kiểm tra độ trôi chảy hội thoại, GPT-Live-1 đạt 4,96 điểm, Advanced Voice Mode đạt 3,80 điểm. Về mức độ dễ chịu, GPT-Live-1 đạt 5,19 điểm, Advanced Voice Mode đạt 3,82 điểm.

Trong bài kiểm tra khả năng suy luận khoa học chuyên gia GPQA, Advanced Voice Mode đạt 45,3%, GPT-Live-1 (high) đạt 84,2%, GPT-Live-1 mini đạt 74,9%.

Trong bài kiểm tra tìm kiếm web tác nhân BrowseComp, Advanced Voice Mode chỉ đạt 0,7%, GPT-Live-1 (high) đạt 75,2%, GPT-Live-1 mini đạt 31,6%.

Sự chênh lệch rõ rệt như vậy cho thấy chiến lược giao nhiệm vụ suy luận cho mô hình tiên tiến ở hậu trường thực sự có hiệu quả.

Ngoài ra, OpenAI cho biết đã thu âm lại chín giọng nói trong ChatGPT cho GPT-Live.

Người dùng hiện có thể chọn ba cấp độ suy luận cho câu trả lời: chế độ tức thời cho phản hồi nhanh, chế độ trung bình và cường độ cao cho các tình huống cần suy nghĩ nhiều hơn.

Trong cuộc hội thoại, ChatGPT có thể hiển thị các thẻ hình ảnh về chủ đề thời tiết, chứng khoán, thể thao, v.v., cho phép người dùng vừa trò chuyện vừa lướt xem. Tính năng giọng nói tiếp tục hỗ trợ tìm kiếm, bộ nhớ, hình ảnh và tải lên tệp.

Nhìn từ quá trình phát triển sản phẩm, giọng nói ChatGPT đã phát triển từ một tính năng cơ bản thành trải nghiệm sản phẩm độc lập. Người dùng sử dụng nó để luyện tập ngôn ngữ, kể chuyện trước khi đi ngủ, trò chuyện khi đi làm hoặc nhận trợ giúp hàng ngày rảnh tay.

Việc ra mắt GPT-Live giúp trải nghiệm này tiến gần hơn đến tầm nhìn mà OpenAI mô tả: hợp tác với AI trôi chảy và nhạy bén như hợp tác với người thật, đồng thời suy luận và các tác vụ phức tạp được thực hiện liền mạch ở hậu trường.

Bảo vệ an toàn

Trong hội thoại giọng nói, ranh giới an toàn cũng rất quan trọng. Đặc biệt trong hội thoại thời gian thực, mô hình không chỉ phải đánh giá người dùng nói gì, mà còn phải xử lý các rủi ro phức tạp từ giọng điệu, cảm xúc, ngắt lời và truy vấn liên tục.

Do đó, OpenAI đã tiến hành đào tạo chuyên biệt cho các lĩnh vực rủi ro chính dựa trên công việc an toàn hiện có, đồng thời thiết kế một bộ biện pháp bảo vệ riêng cho bối cảnh giọng nói.

Về mặt thử nghiệm an toàn, OpenAI đã mở rộng đánh giá âm thanh gốc, thêm vào các mẫu giọng nói thực của người dùng và các tín hiệu âm thanh được tạo tổng hợp trong các lĩnh vực như tự làm hại, tâm thần và hưng cảm, phụ thuộc cảm xúc vào AI, bạo lực và nội dung tình dục.

Các chuyên gia nội bộ cũng thực hiện thử nghiệm red team đối với các rủi ro đặc thù của giọng nói.

Trong đánh giá tổng hợp, GPT-Live-1 có sự cải thiện đáng kể so với Advanced Voice Mode ở nhiều lĩnh vực: điểm ngăn chặn hành vi bất hợp pháp từ 0,63 lên 0,97, ngăn chặn tự làm hại từ 0,72 lên 0,98, ngăn chặn phát ngôn thù hận từ 0,87 lên 1,00.

Trong đánh giá gợi ý sản xuất mờ hơn, GPT-Live-1 tương đương hoặc tốt hơn Advanced Voice Mode ở hầu hết các loại, nhưng lĩnh vực phụ thuộc cảm xúc giảm nhẹ từ 0,88 xuống 0,82, OpenAI chỉ ra rằng sự thay đổi này không có ý nghĩa thống kê.

Về bảo vệ thời gian thực, khi hệ thống phát hiện đầu ra tiềm ẩn không an toàn, nó có thể can thiệp khi mô hình đang nói, hướng dẫn đến phản hồi an toàn hơn, hiển thị thông tin hoặc tài nguyên an toàn bổ sung, hoặc kết thúc hội thoại giọng nói trong trường hợp rủi ro cao.

Ví dụ, đối với các chủ đề liên quan đến “tự làm hại”, quy trình hỗ trợ của ChatGPT đã được điều chỉnh theo bối cảnh giọng nói, bao gồm cung cấp hỗ trợ đường dây nóng khủng hoảng do chuyên gia xem xét.

Về bảo vệ thanh thiếu niên, OpenAI đã thiết kế các biện pháp bổ sung, đào tạo hành vi phù hợp với lứa tuổi vào mô hình. Phụ huynh có thể thông qua kiểm soát của phụ huynh quyết định xem thanh thiếu niên có sử dụng giọng nói ChatGPT hay không, và trong các tình huống rủi ro cao, phụ huynh liên quan có thể nhận được thông báo.

Đáng chú ý, OpenAI đã đưa ra các biện pháp đo lường dài hạn và giám sát sau phát hành đối với sự phụ thuộc cảm xúc, dựa trên nghiên cứu trước đây về sử dụng cảm xúc và hạnh phúc cảm xúc. Đây là sự thừa nhận rằng tính tự nhiên của hội thoại mà GPT-Live theo đuổi có thể mang lại rủi ro mới.

Ngoài ra, GPT-Live sử dụng các giọng nói được xác định trước trong ChatGPT, có các biện pháp ngăn chặn bắt chước giọng nói thật của con người.

Bối cảnh của tuyên bố này là cuộc tranh cãi vào tháng 5 năm 2024 khi phát hành GPT-4o, giọng nói “Sky” tương tự với giọng của nữ diễn viên Scarlett Johansson. Johansson khi đó cho biết cô đã từ chối lời mời lồng tiếng cho hệ thống giọng nói, và sau khi sản phẩm ra mắt, cô cảm thấy “sốc, tức giận và không thể tin nổi”. OpenAI sau đó đã gỡ bỏ giọng nói đó và xin lỗi.

Ba thế hệ phát triển

Hiện tại, tương tác giọng nói song công toàn phần đang nhanh chóng trở thành tiêu chuẩn của các sản phẩm AI tiêu dùng.

Gemini Live của Google đã hỗ trợ hội thoại song công toàn phần cũng như tính năng chia sẻ camera và màn hình, hai tính năng sau chưa được hỗ trợ khi GPT-Live ra mắt. Google đã phát hành Gemini 3,1 Flash Live vào tháng 3, cung cấp tương tác giọng nói độ trễ thấp cho nhà phát triển. Ngoài ra, PersonaPlex của NVIDIA ra mắt vào tháng 1 đã đưa khả năng tùy chỉnh giọng nói và kiểm soát nhân vật vào mô hình song công toàn phần.

Nhìn lại ba thế hệ phát triển của công nghệ giọng nói ChatGPT trong khoảng hai năm.

Tính năng giọng nói ban đầu của ChatGPT ra mắt năm 2023, sử dụng hệ thống xếp tầng, nối ba mô hình: một mô hình chuyển giọng nói thành văn bản để phiên âm giọng nói thành chữ, một mô hình ngôn ngữ lớn tạo phản hồi văn bản, và một mô hình chuyển văn bản thành giọng nói để chuyển đổi phản hồi trở lại âm thanh.

Trong kiến trúc này, phần chuyển giọng nói thành văn bản của OpenAI sử dụng mô hình nhận dạng giọng nói Whisper, mô hình ngôn ngữ nền tảng là GPT-4, và tổng hợp giọng nói cuối cùng được hoàn thành bởi mô hình TTS đi kèm.

Phương pháp này lần đầu tiên cho phép khả năng hội thoại với mô hình AI tiên tiến, nhưng có cái giá rõ ràng: mỗi lần chuyển giao gây ra độ trễ và có thể mất thông tin, phản hồi chậm và cứng nhắc.

Vào tháng 5 năm 2024, OpenAI phát hành GPT-4o, mô hình đa phương thức gốc đầu tiên của công ty, có thể trực tiếp xử lý đầu vào và đầu ra âm thanh, không còn cần các mô-đun chuyển giọng nói thành văn bản và văn bản thành giọng nói bên ngoài. Advanced Voice Mode dựa trên GPT-4o được mở “hạn chế” cho người dùng trả phí vào tháng 7 năm 2024, và ra mắt rộng rãi hơn vào tháng 9.

Tuy nhiên, nó vẫn hoạt động theo các lượt rời rạc, mô hình phải đợi người dùng ngừng nói mới phản hồi. Phát hiện lượt dựa trên im lặng, các khoảng dừng ngắn hoặc tiếng ồn nền có thể bị hiểu nhầm là kết thúc phát biểu, khiến mô hình ngắt lời không đúng lúc.

Giờ đây, GPT-Live giải quyết vấn đề này thông qua kiến trúc song công toàn phần, có thể tạo đầu ra trong khi liên tục xử lý đầu vào. Mô hình có thể đưa ra nhiều quyết định tương tác mỗi giây: nói, tiếp tục lắng nghe, tạm dừng, ngắt lời hoặc gọi công cụ.

Điều này cho phép mô hình tự nhiên xen vào các xác nhận mang tính hội thoại, nhận biết khoảng dừng tự nhiên mà không can thiệp sớm, và xử lý ngắt lời nhanh mà không làm mất tập trung.

Khi bạn cần một chút thời gian suy nghĩ, ChatGPT sẽ chờ đợi thay vì nhảy vào ngắt lời. Trong tiếng ồn nền như giao thông hoặc cuộc trò chuyện gần đó, ChatGPT có thể tập trung vào giọng nói của người dùng tốt hơn.

Từ hai năm trước, nói vào mic và chờ gần hai giây để nhận phản hồi cứng nhắc, đến một năm trước trải nghiệm mượt mà hơn nhưng vẫn phải luân phiên, và hôm nay là tương tác song công toàn phần gần với hội thoại thực tế, quỹ đạo phát triển công nghệ rõ ràng.

GPT-Live có thể không phải là điểm cuối, nhưng nó làm cho điểm cuối trông gần hơn.