PrfaaS ця архітектурна ідея досить смілива — максимально розділити PD, попереднє заповнення зробити окремою службою, маршрутизація за порогом довжини, на практиці це дає ще на 32% більшу пропускну здатність порівняно з простим гетерогенним підходом, інновації на рівні інфраструктури починають набирати обертів

Медійні новини повідомляють, що темна сторона місяця та Tsinghua University у arXiv запропонували Prefill-as-a-Service, що дозволяє запускати етап попереднього заповнення великих моделей у межах різних дата-центрів. За допомогою гібридної моделі уваги значно знижено пропускну здатність кешу KV, що дозволяє передавати кеш через Ethernet і повертати його до локального кластера для декодування. Архітектура PrfaaS створює незалежний кластер попереднього заповнення, маршрутизуючи лише запити з довгим контекстом, що не потрапили у кеш, а короткі запити залишаються у локальному PD; також вводяться маршрутизація за довжиною та розподіл за пропускною здатністю. Практичні випробування на гібридній моделі з 1 трильйоном параметрів показали, що пропускна здатність зросла на 54% порівняно з однорідним PD і на 32% порівняно з простим гібридним підходом.