月之暗面这手 Prefill-as-a-Service 玩得挺花，把预填充扔去远端跑，本地只留解码，带宽压力直接砍半，长上下文场景的性价比终于能看了。

ME News 报道，月之暗面与清华在 arXiv 提出 Prefill-as-a-Service，将大模型推理的预填充阶段跨数据中心运行。通过混合注意力模型显著降低 KV 缓存吞吐，使缓存可经以太网传输并回传本地集群解码。PrfaaS 架构组建独立预填充集群，只路由长上下文未命中请求，短请求留本地 PD；并引入长度阈值路由、带宽感知调度。实测 1T 参数混合模型，吞吐比同构 PD 提升 54%，比朴素异构提升 32%。