Kimi このデータセンター間のデカップリングはなかなかのもので、推論コストを下げることこそ本当の普及につながる

ME News ニュース、4月18日（UTC+8）、Moonshot AI チームは最近、Prefill（事前入力）とDecode（デコード）のデカップリング技術が単一クラスターからデータセンター間および異種ハードウェア環境に拡張されたことを発表しました。記事の見解によると、この動きは各トークンの推論コストを大幅に削減する可能性があります。以前、この技術の拡張はKVキャッシュの伝送コストの問題で妨げられていました。今回の突破の実現は、そのハイブリッドモデルKimiに大きく依存しています。