作者：李海倫，騰訊科技
北京時間7月9日凌晨，OpenAI正式推出了新一代語音模型GPT-Live系列，分為GPT-Live-1和 GPT-Live-1 mini 兩個版本，並為ChatGPT的語音功能提供支援。
GPT-Live升級的核心是「全雙工架構」，更強調語音AI在對話方式上的理解。模型可以同時處理聆聽與說話，對話過程中能夠透過短語表明正在傾聽，支援快速交替發言，也能在使用者思考時保持安靜。
它更接近真人對話的狀態，多了一點對話交流中的分寸感。
OpenAI官方是這麼說的：「在對話過程中，GPT-Live 可以透過『嗯嗯』『yeah』這類回應來表示它自己正在聽，也可以進行快速來回的交流；當你需要一點時間思考時，它也可以保持安靜。最終帶來的，是一種更輕鬆、更自然的語音互動體驗」。
當遇到需要網路搜尋、深度推理或複雜任務時，GPT-Live會將工作委託給後台的前沿模型處理，並在結果就緒後帶回對話，期間保持對話不中斷。
發布之初，後台模型為GPT-5.5，OpenAI表示將隨新模型發布持續更新底層支援。
過去GPT是以即時語音能力的底層為核心，靠的是一套低延遲音頻流系統：使用者說話，模型快速理解並回應；使用者打斷，模型及時停下。
GPT-Live這次最關鍵的升級，是將語音互動與深度推理分離為兩個獨立環節。
當使用者提出，需要搜尋、推理或調用更強的代理能力時，GPT-Live會把任務交給後台模型處理，前台語音模型則繼續與使用者保持對話，盡量避免交流節奏被打斷。
這種「委託模式」本質上是一種架構分工：前台由一個面向即時互動優化的語音原生模型負責接話、停頓和保持自然對話；後台則由獨立的推理模型負責搜尋、計算、調用工具和執行複雜任務。
兩者分離運作，推理引擎可以隨著技術進展隨時更換，語音模型的體驗無需重新訓練就能跟著升級。
對企業應用而言，全雙工架構的價值在於，語音智能體可以在不中斷對話節奏的情況下，完成查詢資料庫、聯網搜尋、多步推理等後台任務。過去這類操作常常帶來數秒沉默，讓使用者明顯感到「系統在處理」。現在，它們可以被隱藏在更自然的交流節奏裡。
評估數據反映了分離式設計的成效。
據官方介紹，在GPT-Live-1與高級語音模式（Advanced Voice Mode）的正面比較中，前者在5到10分鐘對話裡的整體偏好、輪流發言、打斷、對話流暢度和每次互動自然度方面均明顯領先，整體偏好達75.7%。
在對話流暢度測試中，GPT-Live-1得到4.96分，高級語音模式為3.80分。愉悅度方面，GPT-Live-1為5.19分，高級語音模式為3.82分。
在專家級科學推理能力測試GPQA上，高級語音模式得分45.3%，GPT-Live-1（high）達到84.2%，GPT-Live-1 mini為74.9%。
在智能體網路搜尋測試BrowseComp中，高級語音模式僅得0.7%，GPT-Live-1（high）達到75.2%，GPT-Live-1 mini為31.6%。
差距如此明顯，表明將推理任務交給後台前沿模型處理的策略確有實效。
並且，OpenAI表示還為GPT-Live重新錄製了ChatGPT中的九種聲音。
使用者現在可為回答選擇三種推理級別：即時模式用於快速回應，中等和高強度模式用於需要更多思考的場景。
對話期間，ChatGPT可顯示天氣、股票、體育等主題的視覺卡片，讓使用者一邊交談一邊瀏覽。語音功能繼續支援搜尋、記憶、圖像和檔案上傳。
從產品演進看，ChatGPT語音已從一項基礎功能發展為獨立的產品體驗。使用者用它練習語言、講睡前故事、通勤聊天或獲取免提日常幫助。
GPT-Live的發布使這一體驗更加接近OpenAI所描述的願景：與AI協作如同與真人合作一樣流暢靈敏，同時推理和複雜任務在後台無縫進行。
在語音對話中，安全邊界也很重要。尤其是在即時對話中，模型不僅要判斷使用者說了什麼，還要處理語氣、情緒、打斷和連續追問帶來的複雜風險。
為此，OpenAI在已有安全工作的基礎上，針對關鍵風險領域進行了專項訓練，並為語音場景單獨設計了一套保護措施。
安全測試方面，OpenAI擴展了音頻原生評估，加入了真實使用者語音樣本和針對自殘、精神病和躁狂、對AI情感依賴、暴力以及性內容等領域綜合生成的音頻提示。
內部專家也對模型進行了針對語音特有風險的紅隊測試。
在綜合評估中，GPT-Live-1相比高級語音模式在多個領域有顯著提升：防止非法行為得分從0.63升至0.97，防自殘從0.72升至0.98，防仇恨言論從0.87升至1.00。
在更模糊的生產提示評估中，GPT-Live-1在多數類別與高級語音模式相當或更優，但情感依賴領域從0.88微降至0.82，OpenAI指出這一變化在統計上不顯著。
即時保護方面，系統檢測到潛在不安全輸出時，可在模型說話時介入，引導向更安全回應、顯示額外安全資訊或資源，或在風險較高情況下結束語音對話。
比如對涉及有「自殘」的話題，ChatGPT支援流程已根據語音環境調整，包括提供經專家審查的危機熱線支援。
青少年保護方面，OpenAI設計了額外措施，將適齡行為訓練進模型。家長可透過家長控制功能決定青少年是否使用ChatGPT語音，在高風險情況下關聯家長可能收到通知。
值得關注的是，OpenAI推出了針對情感依賴的長期測量和發布後監控，基於此前對情感使用和情感福祉的研究。這是對GPT-Live所追求的那種對話自然性本身可能帶來新風險的承認。
另外，GPT-Live使用ChatGPT中預定義聲音，設有防止模仿真人聲音的防護措施。
這一聲明的背景，是2024年5月GPT-4o發布期間出現的「Sky」聲音與演員史嘉蕾·喬韓森（Scarlett Johansson）聲音相似引發的爭議。喬韓森當時表示她拒絕了為語音系統配音的邀請，產品推出後她感到「震驚、憤怒和難以置信」。OpenAI隨後撤下該聲音並道歉。
目前，全雙工語音互動正迅速成為消費AI產品的標配。
谷歌的Gemini Live已支援全雙工對話及攝影機和螢幕共享功能，後兩項GPT-Live發布時尚不支援。谷歌在3月發布了Gemini 3.1 Flash Live，面向開發者提供低延遲語音互動。還有輝達在1月發布的PersonaPlex將可訂製語音和角色控制帶入全雙工模型。
回顧ChatGPT語音技術在大約兩年內經歷的三代演進。
最初的ChatGPT語音功能於2023年推出，採用級聯式系統，將三個模型串聯：一個語音轉文字模型將語音轉錄為文字，一個大語言模型生成文字回覆，一個文字轉語音模型將回覆轉換回音頻。
在這一架構中，OpenAI語音轉文字環節使用的是語音識別模型Whisper，底層語言模型為GPT-4，最後的語音合成由配套的TTS模型完成。
這種方法首次實現了與前沿AI模型對話的可能，但代價明顯：每次交接引入延遲並可能丟失資訊，回應緩慢且生硬。
於是在2024年5月，OpenAI發布了GPT-4o，這是公司首個原生多模態模型，能夠直接處理音頻輸入和輸出，不再需要外掛語音轉文字和文字轉語音模組。基於GPT-4o建構的高級語音模式於2024年7月向付費使用者「有限」開放，9月更廣泛推出。
但它仍然透過離散輪次運作，模型必須等使用者停止說話才能回應。輪次檢測基於靜音判斷，短暫停頓或背景噪音可能被誤判為發言結束，導致模型在不當時機打斷。
現在，GPT-Live透過全雙工架構解決了這一問題，能在持續處理輸入的同時生成輸出。模型每秒可做出多次互動決策：說話、繼續聆聽、停頓、打斷或調用工具。
這使得模型能自然插入對話式確認，識別自然停頓而不提前介入，並處理快速打斷而不使交流脫軌。
當你需要片刻思考，ChatGPT會等待而不是跳進來打斷。在過往交通聲或附近談話等背景噪音下，ChatGPT能更好地聚焦使用者聲音。
從兩年前對著麥克風口述後等待近兩秒得到生硬回覆，到一年前更流暢但仍需輪流發言的體驗，再到今天接近真實對話的全雙工互動，技術演進的軌跡清晰可見。
GPT-Live或許不是終點，但它讓終點看起來更近了。
84.26萬 熱度
21.48萬 熱度
141.39萬 熱度
94.72萬 熱度
11.8萬 熱度
OpenAI給語音AI補上“眼力見”
作者：李海倫，騰訊科技
北京時間7月9日凌晨，OpenAI正式推出了新一代語音模型GPT-Live系列，分為GPT-Live-1和 GPT-Live-1 mini 兩個版本，並為ChatGPT的語音功能提供支援。
GPT-Live升級的核心是「全雙工架構」，更強調語音AI在對話方式上的理解。模型可以同時處理聆聽與說話，對話過程中能夠透過短語表明正在傾聽，支援快速交替發言，也能在使用者思考時保持安靜。
它更接近真人對話的狀態，多了一點對話交流中的分寸感。
OpenAI官方是這麼說的：「在對話過程中，GPT-Live 可以透過『嗯嗯』『yeah』這類回應來表示它自己正在聽，也可以進行快速來回的交流；當你需要一點時間思考時，它也可以保持安靜。最終帶來的，是一種更輕鬆、更自然的語音互動體驗」。
當遇到需要網路搜尋、深度推理或複雜任務時，GPT-Live會將工作委託給後台的前沿模型處理，並在結果就緒後帶回對話，期間保持對話不中斷。
發布之初，後台模型為GPT-5.5，OpenAI表示將隨新模型發布持續更新底層支援。
邊聊邊工作
過去GPT是以即時語音能力的底層為核心，靠的是一套低延遲音頻流系統：使用者說話，模型快速理解並回應；使用者打斷，模型及時停下。
GPT-Live這次最關鍵的升級，是將語音互動與深度推理分離為兩個獨立環節。
當使用者提出，需要搜尋、推理或調用更強的代理能力時，GPT-Live會把任務交給後台模型處理，前台語音模型則繼續與使用者保持對話，盡量避免交流節奏被打斷。
這種「委託模式」本質上是一種架構分工：前台由一個面向即時互動優化的語音原生模型負責接話、停頓和保持自然對話；後台則由獨立的推理模型負責搜尋、計算、調用工具和執行複雜任務。
兩者分離運作，推理引擎可以隨著技術進展隨時更換，語音模型的體驗無需重新訓練就能跟著升級。
對企業應用而言，全雙工架構的價值在於，語音智能體可以在不中斷對話節奏的情況下，完成查詢資料庫、聯網搜尋、多步推理等後台任務。過去這類操作常常帶來數秒沉默，讓使用者明顯感到「系統在處理」。現在，它們可以被隱藏在更自然的交流節奏裡。
評估數據反映了分離式設計的成效。
據官方介紹，在GPT-Live-1與高級語音模式（Advanced Voice Mode）的正面比較中，前者在5到10分鐘對話裡的整體偏好、輪流發言、打斷、對話流暢度和每次互動自然度方面均明顯領先，整體偏好達75.7%。
在對話流暢度測試中，GPT-Live-1得到4.96分，高級語音模式為3.80分。愉悅度方面，GPT-Live-1為5.19分，高級語音模式為3.82分。
在專家級科學推理能力測試GPQA上，高級語音模式得分45.3%，GPT-Live-1（high）達到84.2%，GPT-Live-1 mini為74.9%。
在智能體網路搜尋測試BrowseComp中，高級語音模式僅得0.7%，GPT-Live-1（high）達到75.2%，GPT-Live-1 mini為31.6%。
差距如此明顯，表明將推理任務交給後台前沿模型處理的策略確有實效。
並且，OpenAI表示還為GPT-Live重新錄製了ChatGPT中的九種聲音。
使用者現在可為回答選擇三種推理級別：即時模式用於快速回應，中等和高強度模式用於需要更多思考的場景。
對話期間，ChatGPT可顯示天氣、股票、體育等主題的視覺卡片，讓使用者一邊交談一邊瀏覽。語音功能繼續支援搜尋、記憶、圖像和檔案上傳。
從產品演進看，ChatGPT語音已從一項基礎功能發展為獨立的產品體驗。使用者用它練習語言、講睡前故事、通勤聊天或獲取免提日常幫助。
GPT-Live的發布使這一體驗更加接近OpenAI所描述的願景：與AI協作如同與真人合作一樣流暢靈敏，同時推理和複雜任務在後台無縫進行。
安全防護
在語音對話中，安全邊界也很重要。尤其是在即時對話中，模型不僅要判斷使用者說了什麼，還要處理語氣、情緒、打斷和連續追問帶來的複雜風險。
為此，OpenAI在已有安全工作的基礎上，針對關鍵風險領域進行了專項訓練，並為語音場景單獨設計了一套保護措施。
安全測試方面，OpenAI擴展了音頻原生評估，加入了真實使用者語音樣本和針對自殘、精神病和躁狂、對AI情感依賴、暴力以及性內容等領域綜合生成的音頻提示。
內部專家也對模型進行了針對語音特有風險的紅隊測試。
在綜合評估中，GPT-Live-1相比高級語音模式在多個領域有顯著提升：防止非法行為得分從0.63升至0.97，防自殘從0.72升至0.98，防仇恨言論從0.87升至1.00。
在更模糊的生產提示評估中，GPT-Live-1在多數類別與高級語音模式相當或更優，但情感依賴領域從0.88微降至0.82，OpenAI指出這一變化在統計上不顯著。
即時保護方面，系統檢測到潛在不安全輸出時，可在模型說話時介入，引導向更安全回應、顯示額外安全資訊或資源，或在風險較高情況下結束語音對話。
比如對涉及有「自殘」的話題，ChatGPT支援流程已根據語音環境調整，包括提供經專家審查的危機熱線支援。
青少年保護方面，OpenAI設計了額外措施，將適齡行為訓練進模型。家長可透過家長控制功能決定青少年是否使用ChatGPT語音，在高風險情況下關聯家長可能收到通知。
值得關注的是，OpenAI推出了針對情感依賴的長期測量和發布後監控，基於此前對情感使用和情感福祉的研究。這是對GPT-Live所追求的那種對話自然性本身可能帶來新風險的承認。
另外，GPT-Live使用ChatGPT中預定義聲音，設有防止模仿真人聲音的防護措施。
這一聲明的背景，是2024年5月GPT-4o發布期間出現的「Sky」聲音與演員史嘉蕾·喬韓森（Scarlett Johansson）聲音相似引發的爭議。喬韓森當時表示她拒絕了為語音系統配音的邀請，產品推出後她感到「震驚、憤怒和難以置信」。OpenAI隨後撤下該聲音並道歉。
三代演進
目前，全雙工語音互動正迅速成為消費AI產品的標配。
谷歌的Gemini Live已支援全雙工對話及攝影機和螢幕共享功能，後兩項GPT-Live發布時尚不支援。谷歌在3月發布了Gemini 3.1 Flash Live，面向開發者提供低延遲語音互動。還有輝達在1月發布的PersonaPlex將可訂製語音和角色控制帶入全雙工模型。
回顧ChatGPT語音技術在大約兩年內經歷的三代演進。
最初的ChatGPT語音功能於2023年推出，採用級聯式系統，將三個模型串聯：一個語音轉文字模型將語音轉錄為文字，一個大語言模型生成文字回覆，一個文字轉語音模型將回覆轉換回音頻。
在這一架構中，OpenAI語音轉文字環節使用的是語音識別模型Whisper，底層語言模型為GPT-4，最後的語音合成由配套的TTS模型完成。
這種方法首次實現了與前沿AI模型對話的可能，但代價明顯：每次交接引入延遲並可能丟失資訊，回應緩慢且生硬。
於是在2024年5月，OpenAI發布了GPT-4o，這是公司首個原生多模態模型，能夠直接處理音頻輸入和輸出，不再需要外掛語音轉文字和文字轉語音模組。基於GPT-4o建構的高級語音模式於2024年7月向付費使用者「有限」開放，9月更廣泛推出。
但它仍然透過離散輪次運作，模型必須等使用者停止說話才能回應。輪次檢測基於靜音判斷，短暫停頓或背景噪音可能被誤判為發言結束，導致模型在不當時機打斷。
現在，GPT-Live透過全雙工架構解決了這一問題，能在持續處理輸入的同時生成輸出。模型每秒可做出多次互動決策：說話、繼續聆聽、停頓、打斷或調用工具。
這使得模型能自然插入對話式確認，識別自然停頓而不提前介入，並處理快速打斷而不使交流脫軌。
當你需要片刻思考，ChatGPT會等待而不是跳進來打斷。在過往交通聲或附近談話等背景噪音下，ChatGPT能更好地聚焦使用者聲音。
從兩年前對著麥克風口述後等待近兩秒得到生硬回覆，到一年前更流暢但仍需輪流發言的體驗，再到今天接近真實對話的全雙工互動，技術演進的軌跡清晰可見。
GPT-Live或許不是終點，但它讓終點看起來更近了。