Темна сторона місяця цю хвилю викинути попереднє заповнення на інше місце, кеш KV може витримати через Ethernet, пропускна здатність 1ТБ моделі безпосередньо зросла на 54%, гібридне планування зрозуміле

Медійні новини повідомляють, що темна сторона місяця та Tsinghua University у arXiv запропонували Prefill-as-a-Service, що дозволяє запускати етап попереднього заповнення великих моделей у межах кількох дата-центрів. За допомогою гібридної моделі уваги значно знижено пропускну здатність кешу KV, що дозволяє передавати кеш через Ethernet і повертати його до локального кластера для декодування. Архітектура PrfaaS створює незалежний кластер попереднього заповнення, маршрутизуючи лише запити з довгим контекстом, що не потрапили, а короткі запити залишаються у локальному PD; також вводяться маршрутизація за довжиною та розподіл з урахуванням пропускної здатності. Практичні випробування на гібридній моделі з 1 трильйоном параметрів показали підвищення пропускної здатності на 54% порівняно з однорідним PD і на 32% порівняно з простим гібридом.