币界网消息、OpenAIエンジニアリングチームは、ChatGPTの音声、リアルタイムAPIなどのリアルタイム音声AI製品を支える基盤となるWebRTCアーキテクチャを公開しました。 コアの設計は、従来のWebRTCのメディアルーティングとプロトコルの終端を二層に分割することです: ステートレスのリレーはUDPパケットの転送のみを担当し、ステートフルのトランシーバーは完全なICE(インタラクティブ・コネクション・セットアップ)、DTLS(データグラム伝送層のセキュリティ)ハンドシェイクと暗号化・復号を担当します。 この設計は、Kubernetes上でのWebRTCの古典的な課題を解決し、分割後は公共のUDP露出面を固定された少数のアドレスとポートに縮小し、リレーは水平スケール可能となります。 また、記事では、WebRTCプロトコルの原始的なアーキテクトであるJustin UbertiとオープンソースWebRTCライブラリPionの創設者Sean DuboisがともにOpenAIに参加し、リアルタイムAIとWebRTCの融合に取り組んでいることも明らかにしています。
OpenAI公開音声AIの基盤アーキテクチャ:WebRTCの創始者が参加、自社開発のリレー+トランシーバー分離方案
币界网消息、OpenAIエンジニアリングチームは、ChatGPTの音声、リアルタイムAPIなどのリアルタイム音声AI製品を支える基盤となるWebRTCアーキテクチャを公開しました。
コアの設計は、従来のWebRTCのメディアルーティングとプロトコルの終端を二層に分割することです:
ステートレスのリレーはUDPパケットの転送のみを担当し、ステートフルのトランシーバーは完全なICE(インタラクティブ・コネクション・セットアップ)、DTLS(データグラム伝送層のセキュリティ)ハンドシェイクと暗号化・復号を担当します。
この設計は、Kubernetes上でのWebRTCの古典的な課題を解決し、分割後は公共のUDP露出面を固定された少数のアドレスとポートに縮小し、リレーは水平スケール可能となります。
また、記事では、WebRTCプロトコルの原始的なアーキテクトであるJustin UbertiとオープンソースWebRTCライブラリPionの創設者Sean DuboisがともにOpenAIに参加し、リアルタイムAIとWebRTCの融合に取り組んでいることも明らかにしています。