Місяць темний, ця хвиля викинула попередньо заповнені дані до віддаленого центру обробки, кеш KV передається через Ethernet туди і назад, підвищення пропускної здатності на 54% дійсно вражає, довгий контекст нарешті більше не навантажує місцеву пропускну здатність

Медійні новини повідомляють, що місячна темна сторона і Tsinghua University у arXiv запропонували Prefill-as-a-Service, що дозволяє запускати етап попереднього заповнення великих моделей у межах різних дата-центрів. За допомогою гібридної моделі уваги значно знижено пропускну здатність кешу KV, що дозволяє передавати кеш через Ethernet і повертати його до локального кластера для декодування. Архітектура PrfaaS створює незалежний кластер попереднього заповнення, маршрутизуючи лише запити з довгим контекстом, що не потрапили, а короткі запити залишаються у локальному PD; також вводяться маршрутизація за довжиною та розподіл за пропускною здатністю з урахуванням пропускної здатності. Практичні випробування на гібридній моделі з 1 трильйоном параметрів показали збільшення пропускної здатності на 54% порівняно з однорідним PD і на 32% порівняно з простим гібридом.