PrfaaS ця архітектура цікава, довгий контекст не потрапив — маршрутизує до окремого попереднього заповнення кластера, короткі запити обробляються локальним PD, розумна розподіл пропускної здатності — щоб уникнути безглуздої конкуренції.

Медійні новини повідомляють, що темна сторона місяця та Tsinghua University у arXiv запропонували Prefill-as-a-Service, що дозволяє запускати етап попереднього заповнення великих моделей у межах різних дата-центрів. За допомогою гібридної моделі уваги значно знижено пропускну здатність кешу KV, що дозволяє передавати кеш через Ethernet і повертати його для декодування у локальному кластері. Архітектура PrfaaS створює незалежний кластер попереднього заповнення, маршрутизуючи лише запити з довгим контекстом, що не потрапили у кеш, а короткі запити залишаються у локальному PD; також вводяться маршрутизація за довжиною та розподіл за пропускною здатністю. Практичні випробування з гібридною моделлю на 1 трильйон параметрів показали збільшення пропускної здатності на 54% порівняно з однорідним PD і на 32% порівняно з простим гібридом.