Тёмная сторона Луны — этот раз предзаполнение отправили в другую локацию, кеш KV выдержит даже через Ethernet, пропускная способность модели на 1Тб сразу выросла на 54%, асинхронное управление задачами стало понятным

ME News сообщает, что темная сторона Луны и Tsinghua представили на arXiv Prefill-as-a-Service, который переносит этап предварительного заполнения больших моделей inference через межданные центры. С помощью гибридной модели внимания значительно снижен пропуск KV-кэша, что позволяет передавать кэш по Ethernet и возвращать его для декодирования в локальный кластер. Архитектура PrfaaS строит отдельный кластер предварительного заполнения, маршрутизируя только запросы с длинным контекстом, которые не попали в кэш, а короткие запросы оставляются в локальном PD; также введены маршрутизация по порогу длины и планирование с учетом пропускной способности. В реальных тестах на гибридной модели с 1 трлн параметров пропускная способность увеличилась на 54% по сравнению с однородным PD и на 32% по сравнению с простым гетерогенным подходом.