Kimi K3 開源多項核心元件支撐大規模智慧體訓練

robot
摘要生成中

PANews 7月27日訊息,Kimi.ai 團隊在開放 Kimi K3 模型權重與技術報告的同時,陸續開源多項底層基礎設施:包含用於分散式 MoE 訓練的高效能通訊程式庫 MoonEP、面向大規模智能體工作流程的分散式環境系統 AgentENV(與 kvcache-ai 合作),以及基於 CUTLASS 的 Kimi Delta Attention 高效能核心 FlashKDA。官方表示,這些元件可降低大規模 MoE 與智能體強化學習訓練中的通訊與推理開銷,並作為 flash-linear-attention 的即插即用後端使用。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆