Тяньцзинь + Місяць темна сторона — ця хвиля розділила попереднє заповнення, кеш KV можна витримати через Ethernet, підвищення пропускної здатності на 54% дійсно привабливе, структура витрат на довгий контекст і логіку зазнає кардинальних змін.

Медійні новини повідомляють, що місячна темна сторона та Тяньцзинський університет у arXiv запропонували Prefill-as-a-Service, що дозволяє запускати етап попереднього заповнення великих моделей для розуміння у міжцентрових даних. За допомогою гібридної моделі уваги значно знижено пропускну здатність кешу KV, що дозволяє передавати кеш через Ethernet і повертати його до локального кластера для декодування. Архітектура PrfaaS створює незалежний кластер попереднього заповнення, маршрутизуючи лише запити з довгим контекстом, що не потрапили, а короткі запити залишаються у локальному PD; також вводяться маршрутизація за довжиною та розподіл з урахуванням пропускної здатності. Практичні випробування на гібридній моделі з 1 трильйоном параметрів показали, що пропускна здатність зросла на 54% порівняно з однорідним PD і на 32% порівняно з простим гетерогенним підходом.