PrfaaSこのアーキテクチャのアイデアはかなり野性的です——PDを極限まで分離し、事前充填を独立したサービスにし、長さの閾値でルーティングし、実測では素朴な異種よりも32％のスループット向上を実現しています。インフラ層の革新が本格的に巻き起こっています。

ME News 報道、月の闇面と清華が arXiv にて Prefill-as-a-Service を提案、大規模モデル推論の事前埋め込み段階をデータセンター間で実行。ハイブリッドアテンションモデルを用いて KV キャッシュのスループットを大幅に低減し、キャッシュをイーサネット経由で伝送し、ローカルクラスターのデコードに戻すことを可能に。PrfaaS アーキテクチャは独立した事前埋め込みクラスターを構築し、長いコンテキストの未ヒットリクエストのみをルーティング、短いリクエストはローカルの PD に残す；さらに長さ閾値ルーティングや帯域幅感知スケジューリングを導入。実測で 1T パラメータのハイブリッドモデルは、同構成の PD より 54%、素朴な異種モデルより 32% のスループット向上を実現。