清华+月之暗面这波把预填充拆出去跑,KV缓存走以太网都能扛住,54%吞吐提升确实香,长上下文推理的成本结构要变天了

ME News
月之暗面与清华新论文:LLM预填充可跨数据中心,1T模型吞吐升54%
ME News 报道,月之暗面与清华在 arXiv 提出 Prefill-as-a-Service,将大模型推理的预填充阶段跨数据中心运行。通过混合注意力模型显著降低 KV 缓存吞吐,使缓存可经以太网传输并回传本地集群解码。PrfaaS 架构组建独立预填充集群,只路由长上下文未命中请求,短请求留本地 PD;并引入长度阈值路由、带宽感知调度。实测 1T 参数混合模型,吞吐比同构 PD 提升 54%,比朴素异构提升 32%。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论