作者：李海伦、腾讯科技
日本時間7月9日未明、OpenAIは正式に新世代の音声モデルGPT-Liveシリーズを発表しました。GPT-Live-1とGPT-Live-1 miniの2つのバージョンがあり、ChatGPTの音声機能をサポートします。
GPT-Liveのアップグレードの中核は「全二重アーキテクチャ」であり、音声AIの対話方法における理解をより重視しています。モデルは聞くと話すを同時に処理でき、会話中に短いフレーズで聞いていることを示し、素早い交互の発言をサポートし、ユーザーが考えている間は静かにしていることもできます。
より人間同士の会話の状態に近づき、会話のやり取りにおける間合いが少し増えました。
OpenAI公式は次のように述べています：「会話中、GPT-Liveは『うんうん』『yeah』といった返答で自分が聞いていることを示し、素早いやり取りも可能です。ユーザーが考える時間が必要な時は、静かにしていることもできます。最終的にもたらされるのは、よりリラックスした、より自然な音声対話体験です。」
Web検索、深い推論、複雑なタスクが必要な場合、GPT-Liveは作業をバックグラウンドの最先端モデルに委任し、結果が準備できたら会話に戻し、その間会話を中断させません。
公開当初、バックグラウンドモデルはGPT-5.5で、OpenAIは新しいモデルの公開に伴い、基礎となるサポートを継続的に更新すると述べています。
これまでGPTはリアルタイム音声機能を中核とし、低遅延の音声ストリーミングシステムに依存していました。ユーザーが話し、モデルが素早く理解して応答し、ユーザーが遮るとモデルがすぐに停止します。
今回のGPT-Liveの最も重要なアップグレードは、音声対話と深い推論を2つの独立したステップに分離したことです。
ユーザーが検索、推論、またはより強力なエージェント能力の呼び出しを必要とする場合、GPT-Liveはタスクをバックグラウンドモデルに委ね、フロントの音声モデルはユーザーとの会話を続け、会話のリズムが途切れるのをできるだけ防ぎます。
この「委任モード」は本質的にアーキテクチャの分業です。フロントではリアルタイム対話に最適化された音声ネイティブモデルが発言、間、自然な会話の維持を担当し、バックグラウンドでは独立した推論モデルが検索、計算、ツールの呼び出し、複雑なタスクの実行を担当します。
両者は分離して動作し、推論エンジンは技術の進歩に応じて隨時交換可能で、音声モデルの体験は再トレーニングすることなくアップグレードに追従できます。
企業アプリケーションにとって、全二重アーキテクチャの価値は、音声エージェントが会話のリズムを中断することなく、データベースクエリ、インターネット検索、多段階推論などのバックグラウンドタスクを完了できることです。以前はこうした操作は数秒の沈黙を引き起こし、ユーザーが明らかに「システムが処理中」と感じさせていました。現在では、これらはより自然な会話のリズムに隠蔽できます。
評価データは分離設計の効果を反映しています。
公式発表によると、GPT-Live-1と高度音声モード（Advanced Voice Mode）の直接比較において、前者は5〜10分の会話における全体的な好み、発言の順番交代、遮り、会話の流暢さ、各インタラクションの自然さで明らかにリードし、全体的な好みは75.7%に達しました。
会話の流暢さテストでは、GPT-Live-1は4.96点、高度音声モードは3.80点でした。楽しさの面では、GPT-Live-1は5.19点、高度音声モードは3.82点でした。
専門レベルの科学的推論能力テストGPQAでは、高度音声モードが45.3%だったのに対し、GPT-Live-1（high）は84.2%、GPT-Live-1 miniは74.9%でした。
エージェント型Web検索テストBrowseCompでは、高度音声モードはわずか0.7%だったのに対し、GPT-Live-1（high）は75.2%、GPT-Live-1 miniは31.6%でした。
このような顕著な差は、推論タスクをバックグラウンドの最先端モデルに委ねる戦略が確かに効果的であることを示しています。
さらに、OpenAIはGPT-Live用にChatGPTの9つの音声を再録音したと発表しています。
ユーザーは回答に対して3つの推論レベルを選択できるようになりました。即時モードは素早い応答用、中程度および高強度モードはより思考が必要なシーン用です。
会話中、ChatGPTは天気、株価、スポーツなどのテーマに関するビジュアルカードを表示し、ユーザーが話しながら閲覧できるようにします。音声機能は引き続き検索、記憶、画像、ファイルアップロードをサポートします。
製品の進化から見ると、ChatGPT音声は基本的な機能から独立した製品体験へと発展しました。ユーザーは言語練習、おやすみ前の話、通勤中の会話、ハンズフリーの日常アシスタントとして活用しています。
GPT-Liveの発表により、この体験はOpenAIが描くビジョンにより近づきました。AIとの協働が人間との協力と同じくらい流暢で機敏であり、推論や複雑なタスクはバックグラウンドでシームレスに行われるというものです。
音声会話において、安全の境界線も重要です。特にリアルタイム会話では、モデルはユーザーが何を言ったかを判断するだけでなく、口調、感情、遮り、連続的な質問から生じる複雑なリスクにも対処する必要があります。
そのため、OpenAIは既存の安全対策に基づき、重要なリスク領域に特化したトレーニングを実施し、音声シナリオ専用の保護策を別途設計しました。
安全テストでは、OpenAIは音声ネイティブ評価を拡張し、実際のユーザー音声サンプルと、自傷、精神病および躁状態、AIへの感情依存、暴力、性的コンテンツなどの領域をカバーする総合的に生成された音声プロンプトを追加しました。
内部専門家も音声特有のリスクに対するレッドチームテストを実施しました。
総合評価では、GPT-Live-1は高度音声モードと比較して複数の領域で大幅な改善を示しました。違法行為防止は0.63から0.97、自傷防止は0.72から0.98、ヘイトスピーチ防止は0.87から1.00に上昇しました。
より曖昧な生成プロンプトの評価では、GPT-Live-1はほとんどのカテゴリで高度音声モードと同等かそれ以上でしたが、感情依存の領域では0.88から0.82に微減しました。OpenAIはこの変化は統計的に有意ではないと指摘しています。
リアルタイム保護の面では、システムは潜在的に安全でない出力を検出すると、モデルが話している間に介入し、より安全な応答に誘導し、追加の安全情報やリソースを表示し、リスクが高い場合は音声会話を終了することができます。
例えば「自傷」に関する話題の場合、ChatGPTのサポートフローは音声環境に合わせて調整されており、専門家による審査を受けた危機ホットラインへのサポートを含みます。
青少年保護に関しては、OpenAIは追加の対策を設計し、年齢に適した行動をモデルにトレーニングしました。保護者はペアレンタルコントロール機能を通じて青少年がChatGPT音声を使用するかどうかを決定でき、高リスク状況では関連する保護者に通知が送られる可能性があります。
注目すべき点は、OpenAIが感情依存に関する長期的な測定と公開後のモニタリングを導入したことです。これは以前の感情使用と感情ウェルビーイングに関する研究に基づいています。これは、GPT-Liveが追求する会話の自然さ自体が新たなリスクをもたらす可能性があるという認識です。
さらに、GPT-LiveはChatGPTの定義済み音声を使用しており、人間の声を模倣するのを防ぐ対策が講じられています。
この声明の背景には、2024年5月のGPT-4o公開時に「Sky」という音声が女優スカーレット・ヨハンソン（Scarlett Johansson）の声に似ているとして物議を醸したことがあります。ヨハンソンは当時、音声システムへの声の提供依頼を断ったと述べ、製品発表後に「衝撃、怒り、信じがたさ」を感じたと表明。OpenAIはその後その音声を削除し謝罪しました。
現在、全二重音声対話は急速にコンシューマー向けAI製品の標準機能になりつつあります。
GoogleのGemini Liveは全二重対話とカメラ・画面共有機能をサポートしており、後者2つはGPT-Live発表時点では未サポートです。Googleは3月にGemini 3.1 Flash Liveを公開し、開発者向けに低遅延の音声対話を提供しています。また、NVIDIAが1月に発表したPersonaPlexは、カスタマイズ可能な音声とキャラクター制御を全二重モデルにもたらしました。
ChatGPTの音声技術が約2年間で経験した3世代の進化を振り返ります。
最初のChatGPT音声機能は2023年に発表され、カスケード方式のシステムを採用。3つのモデルを直列に接続していました。音声をテキストに変換するモデルが音声を文字起こしし、大規模言語モデルがテキスト返答を生成し、テキストを音声に変換するモデルが返答を音声に戻します。
このアーキテクチャでは、OpenAIの音声認識部分にWhisper、基盤言語モデルにGPT-4、最後の音声合成に付随するTTSモデルを使用していました。
この方法で初めて最先端AIモデルとの会話が可能になりましたが、代償は明白でした。受け渡しごとに遅延が生じ情報が失われる可能性があり、応答は遅くぎこちないものでした。
そこで2024年5月、OpenAIはGPT-4oを発表しました。これは同社初のネイティブマルチモーダルモデルで、音声入出力を直接処理でき、外部の音声認識やテキスト音声合成モジュールを必要としません。GPT-4oに基づく高度音声モードは2024年7月に有料ユーザー向けに「限定的」に開放され、9月により広く展開されました。
しかし、これは依然として離散的なターンで動作し、モデルはユーザーが話すのを止めるまで応答できませんでした。ターン検出は無音判断に基づいており、短い間や背景ノイズが発言終了と誤判定され、不適切なタイミングでモデルが遮ることがありました。
現在、GPT-Liveは全二重アーキテクチャによりこの問題を解決し、入力を処理しながら同時に出力を生成できるようになりました。モデルは毎秒複数のインタラクション判断（話す、聞き続ける、間を置く、遮る、ツールを呼び出す）を行うことができます。
これにより、モデルは自然に会話の確認を挿入し、自然な間を認識して早まって介入せず、素早い遮りにも対応して会話が脱線しないようにします。
ユーザーが考える時間が必要な時、ChatGPTは遮らずに待ちます。周囲の交通音や近くの会話などの背景ノイズがある中で、ChatGPTはユーザーの声によりよく焦点を合わせることができます。
2年前にマイクに向かって口述した後、ぎこちない返答を約2秒待つ状況から、1年前にはよりスムーズになったが依然として順番待ちが必要な体験、そして今日のほぼ実際の会話に近い全二重対話へと、技術進化の軌跡は明確に見えます。
GPT-Liveは終着点ではないかもしれませんが、終着点をより近くに見せてくれています。
840.6K 人気度
211.65K 人気度
70.45K 人気度
1.39M 人気度
946.96K 人気度
OpenAI、音声AIに「空気を読む」能力を追加
作者：李海伦、腾讯科技
日本時間7月9日未明、OpenAIは正式に新世代の音声モデルGPT-Liveシリーズを発表しました。GPT-Live-1とGPT-Live-1 miniの2つのバージョンがあり、ChatGPTの音声機能をサポートします。
GPT-Liveのアップグレードの中核は「全二重アーキテクチャ」であり、音声AIの対話方法における理解をより重視しています。モデルは聞くと話すを同時に処理でき、会話中に短いフレーズで聞いていることを示し、素早い交互の発言をサポートし、ユーザーが考えている間は静かにしていることもできます。
より人間同士の会話の状態に近づき、会話のやり取りにおける間合いが少し増えました。
OpenAI公式は次のように述べています：「会話中、GPT-Liveは『うんうん』『yeah』といった返答で自分が聞いていることを示し、素早いやり取りも可能です。ユーザーが考える時間が必要な時は、静かにしていることもできます。最終的にもたらされるのは、よりリラックスした、より自然な音声対話体験です。」
Web検索、深い推論、複雑なタスクが必要な場合、GPT-Liveは作業をバックグラウンドの最先端モデルに委任し、結果が準備できたら会話に戻し、その間会話を中断させません。
公開当初、バックグラウンドモデルはGPT-5.5で、OpenAIは新しいモデルの公開に伴い、基礎となるサポートを継続的に更新すると述べています。
会話しながら作業
これまでGPTはリアルタイム音声機能を中核とし、低遅延の音声ストリーミングシステムに依存していました。ユーザーが話し、モデルが素早く理解して応答し、ユーザーが遮るとモデルがすぐに停止します。
今回のGPT-Liveの最も重要なアップグレードは、音声対話と深い推論を2つの独立したステップに分離したことです。
ユーザーが検索、推論、またはより強力なエージェント能力の呼び出しを必要とする場合、GPT-Liveはタスクをバックグラウンドモデルに委ね、フロントの音声モデルはユーザーとの会話を続け、会話のリズムが途切れるのをできるだけ防ぎます。
この「委任モード」は本質的にアーキテクチャの分業です。フロントではリアルタイム対話に最適化された音声ネイティブモデルが発言、間、自然な会話の維持を担当し、バックグラウンドでは独立した推論モデルが検索、計算、ツールの呼び出し、複雑なタスクの実行を担当します。
両者は分離して動作し、推論エンジンは技術の進歩に応じて隨時交換可能で、音声モデルの体験は再トレーニングすることなくアップグレードに追従できます。
企業アプリケーションにとって、全二重アーキテクチャの価値は、音声エージェントが会話のリズムを中断することなく、データベースクエリ、インターネット検索、多段階推論などのバックグラウンドタスクを完了できることです。以前はこうした操作は数秒の沈黙を引き起こし、ユーザーが明らかに「システムが処理中」と感じさせていました。現在では、これらはより自然な会話のリズムに隠蔽できます。
評価データは分離設計の効果を反映しています。
公式発表によると、GPT-Live-1と高度音声モード（Advanced Voice Mode）の直接比較において、前者は5〜10分の会話における全体的な好み、発言の順番交代、遮り、会話の流暢さ、各インタラクションの自然さで明らかにリードし、全体的な好みは75.7%に達しました。
会話の流暢さテストでは、GPT-Live-1は4.96点、高度音声モードは3.80点でした。楽しさの面では、GPT-Live-1は5.19点、高度音声モードは3.82点でした。
専門レベルの科学的推論能力テストGPQAでは、高度音声モードが45.3%だったのに対し、GPT-Live-1（high）は84.2%、GPT-Live-1 miniは74.9%でした。
エージェント型Web検索テストBrowseCompでは、高度音声モードはわずか0.7%だったのに対し、GPT-Live-1（high）は75.2%、GPT-Live-1 miniは31.6%でした。
このような顕著な差は、推論タスクをバックグラウンドの最先端モデルに委ねる戦略が確かに効果的であることを示しています。
さらに、OpenAIはGPT-Live用にChatGPTの9つの音声を再録音したと発表しています。
ユーザーは回答に対して3つの推論レベルを選択できるようになりました。即時モードは素早い応答用、中程度および高強度モードはより思考が必要なシーン用です。
会話中、ChatGPTは天気、株価、スポーツなどのテーマに関するビジュアルカードを表示し、ユーザーが話しながら閲覧できるようにします。音声機能は引き続き検索、記憶、画像、ファイルアップロードをサポートします。
製品の進化から見ると、ChatGPT音声は基本的な機能から独立した製品体験へと発展しました。ユーザーは言語練習、おやすみ前の話、通勤中の会話、ハンズフリーの日常アシスタントとして活用しています。
GPT-Liveの発表により、この体験はOpenAIが描くビジョンにより近づきました。AIとの協働が人間との協力と同じくらい流暢で機敏であり、推論や複雑なタスクはバックグラウンドでシームレスに行われるというものです。
安全対策
音声会話において、安全の境界線も重要です。特にリアルタイム会話では、モデルはユーザーが何を言ったかを判断するだけでなく、口調、感情、遮り、連続的な質問から生じる複雑なリスクにも対処する必要があります。
そのため、OpenAIは既存の安全対策に基づき、重要なリスク領域に特化したトレーニングを実施し、音声シナリオ専用の保護策を別途設計しました。
安全テストでは、OpenAIは音声ネイティブ評価を拡張し、実際のユーザー音声サンプルと、自傷、精神病および躁状態、AIへの感情依存、暴力、性的コンテンツなどの領域をカバーする総合的に生成された音声プロンプトを追加しました。
内部専門家も音声特有のリスクに対するレッドチームテストを実施しました。
総合評価では、GPT-Live-1は高度音声モードと比較して複数の領域で大幅な改善を示しました。違法行為防止は0.63から0.97、自傷防止は0.72から0.98、ヘイトスピーチ防止は0.87から1.00に上昇しました。
より曖昧な生成プロンプトの評価では、GPT-Live-1はほとんどのカテゴリで高度音声モードと同等かそれ以上でしたが、感情依存の領域では0.88から0.82に微減しました。OpenAIはこの変化は統計的に有意ではないと指摘しています。
リアルタイム保護の面では、システムは潜在的に安全でない出力を検出すると、モデルが話している間に介入し、より安全な応答に誘導し、追加の安全情報やリソースを表示し、リスクが高い場合は音声会話を終了することができます。
例えば「自傷」に関する話題の場合、ChatGPTのサポートフローは音声環境に合わせて調整されており、専門家による審査を受けた危機ホットラインへのサポートを含みます。
青少年保護に関しては、OpenAIは追加の対策を設計し、年齢に適した行動をモデルにトレーニングしました。保護者はペアレンタルコントロール機能を通じて青少年がChatGPT音声を使用するかどうかを決定でき、高リスク状況では関連する保護者に通知が送られる可能性があります。
注目すべき点は、OpenAIが感情依存に関する長期的な測定と公開後のモニタリングを導入したことです。これは以前の感情使用と感情ウェルビーイングに関する研究に基づいています。これは、GPT-Liveが追求する会話の自然さ自体が新たなリスクをもたらす可能性があるという認識です。
さらに、GPT-LiveはChatGPTの定義済み音声を使用しており、人間の声を模倣するのを防ぐ対策が講じられています。
この声明の背景には、2024年5月のGPT-4o公開時に「Sky」という音声が女優スカーレット・ヨハンソン（Scarlett Johansson）の声に似ているとして物議を醸したことがあります。ヨハンソンは当時、音声システムへの声の提供依頼を断ったと述べ、製品発表後に「衝撃、怒り、信じがたさ」を感じたと表明。OpenAIはその後その音声を削除し謝罪しました。
3世代の進化
現在、全二重音声対話は急速にコンシューマー向けAI製品の標準機能になりつつあります。
GoogleのGemini Liveは全二重対話とカメラ・画面共有機能をサポートしており、後者2つはGPT-Live発表時点では未サポートです。Googleは3月にGemini 3.1 Flash Liveを公開し、開発者向けに低遅延の音声対話を提供しています。また、NVIDIAが1月に発表したPersonaPlexは、カスタマイズ可能な音声とキャラクター制御を全二重モデルにもたらしました。
ChatGPTの音声技術が約2年間で経験した3世代の進化を振り返ります。
最初のChatGPT音声機能は2023年に発表され、カスケード方式のシステムを採用。3つのモデルを直列に接続していました。音声をテキストに変換するモデルが音声を文字起こしし、大規模言語モデルがテキスト返答を生成し、テキストを音声に変換するモデルが返答を音声に戻します。
このアーキテクチャでは、OpenAIの音声認識部分にWhisper、基盤言語モデルにGPT-4、最後の音声合成に付随するTTSモデルを使用していました。
この方法で初めて最先端AIモデルとの会話が可能になりましたが、代償は明白でした。受け渡しごとに遅延が生じ情報が失われる可能性があり、応答は遅くぎこちないものでした。
そこで2024年5月、OpenAIはGPT-4oを発表しました。これは同社初のネイティブマルチモーダルモデルで、音声入出力を直接処理でき、外部の音声認識やテキスト音声合成モジュールを必要としません。GPT-4oに基づく高度音声モードは2024年7月に有料ユーザー向けに「限定的」に開放され、9月により広く展開されました。
しかし、これは依然として離散的なターンで動作し、モデルはユーザーが話すのを止めるまで応答できませんでした。ターン検出は無音判断に基づいており、短い間や背景ノイズが発言終了と誤判定され、不適切なタイミングでモデルが遮ることがありました。
現在、GPT-Liveは全二重アーキテクチャによりこの問題を解決し、入力を処理しながら同時に出力を生成できるようになりました。モデルは毎秒複数のインタラクション判断（話す、聞き続ける、間を置く、遮る、ツールを呼び出す）を行うことができます。
これにより、モデルは自然に会話の確認を挿入し、自然な間を認識して早まって介入せず、素早い遮りにも対応して会話が脱線しないようにします。
ユーザーが考える時間が必要な時、ChatGPTは遮らずに待ちます。周囲の交通音や近くの会話などの背景ノイズがある中で、ChatGPTはユーザーの声によりよく焦点を合わせることができます。
2年前にマイクに向かって口述した後、ぎこちない返答を約2秒待つ状況から、1年前にはよりスムーズになったが依然として順番待ちが必要な体験、そして今日のほぼ実際の会話に近い全二重対話へと、技術進化の軌跡は明確に見えます。
GPT-Liveは終着点ではないかもしれませんが、終着点をより近くに見せてくれています。