Moonshot AI 将 Prefill/Decode 解耦技术扩展至跨数据中心与异构硬件

ME News 消息,4 月 18 日(UTC+8),Moonshot AI 团队近日宣布,其 Prefill(预填充)与 Decode(解码)的解耦技术已成功从单一集群扩展至跨数据中心及异构硬件环境。据文中观点,此举有望显著降低每个token的推理成本。此前,该技术的扩展因 KV cache 传输开销问题而受阻。此次突破的实现,关键依赖于其混合模型 Kimi Linear。(来源:InFoQ)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 3
  • 1
  • 分享
评论
请输入评论内容
请输入评论内容
极光下的公链
· 10小时前
好奇跨 DC 的 latency 怎么处理的,文中没细说
回复0
Exit Liquidity Intern
· 10小时前
混合模型架构看来是关键变量,等一手技术细节
回复0
GateUser-c1cab702
· 10小时前
从单集群到多 DC,这工程复杂度想想都头大
回复0