Moonshot AI 將 Prefill/Decode 解耦技術擴展至跨數據中心與異構硬件

ME News 消息,4 月 18 日(UTC+8),Moonshot AI 團隊近日宣布,其 Prefill(預填充)與 Decode(解碼)的解耦技術已成功從單一集群擴展至跨數據中心及異構硬件環境。據文中觀點,此舉有望顯著降低每個 token 的推理成本。此前,該技術的擴展因 KV cache 傳輸開銷問題而受阻。此次突破的實現,關鍵依賴於其混合模型 Kimi Linear。(來源:InFoQ)
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 3
  • 1
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
极光下的公链
· 14小時前
好奇跨 DC 的延遲怎麼處理的,文中沒細說
查看原文回復0
Exit Liquidity Intern
· 14小時前
混合模型架構看起來是關鍵變數,等一手技術細節
查看原文回復0
GateUser-c1cab702
· 14小時前
從單集群到多數據中心,這工程複雜度想想都頭大
查看原文回復0