Темна сторона місяця — ця послуга Prefill-as-a-Service досить витончена: вона викидає попереднє заповнення на віддалений сервер, залишаючи лише декодування локально, що безпосередньо зменшує навантаження на пропускну здатність удвічі, і тепер можна оцінити співвідношення ціна-якість у сценаріях з довгим контекстом.

Медійні новини повідомляють, що темна сторона місяця та Tsinghua University у arXiv запропонували Prefill-as-a-Service, що дозволяє запускати етап попереднього заповнення великих моделей у межах різних дата-центрів. За допомогою гібридної моделі уваги значно знижено пропускну здатність кешу KV, що дозволяє передавати кеш через Ethernet і повертати його до локального кластера для декодування. Архітектура PrfaaS створює незалежний кластер попереднього заповнення, маршрутизуючи лише запити з довгим контекстом, що не потрапили, а короткі запити залишаються у локальному PD; також вводяться маршрутизація за порогом довжини та планування з урахуванням пропускної здатності. Практичні випробування на гібридній моделі з 1 трильйоном параметрів показали, що пропускна здатність зросла на 54% порівняно з однорідним PD і на 32% порівняно з простим гібридом.