Місяць Ань розділив цю хвилю попереднього заповнення, кеш KV можна передавати через Ethernet, і довгий контекст нарешті не потрібно обробляти локально.

Медійні новини повідомляють, що темна сторона місяця та Tsinghua University у arXiv запропонували Prefill-as-a-Service, що дозволяє запускати попереднє заповнення етапу великомасштабного моделювання на різних дата-центрах. За допомогою гібридної моделі уваги значно знижено пропускну здатність кешу KV, що дозволяє передавати кеш через Ethernet і повертати його до локального кластера для декодування. Архітектура PrfaaS створює незалежний попередній кластер, маршрутизуючи лише запити з довгим контекстом, що не потрапили, а короткі запити залишаються у локальному PD; також вводяться маршрутизація за довжиною та розподіл з урахуванням пропускної здатності. Практичні випробування з гібридною моделлю на 1 трильйон параметрів показали підвищення пропускної здатності на 54% у порівнянні з однорідним PD і на 32% у порівнянні з простим гібридом.