ME News Новини, 18 квітня (UTC+8), згідно з моніторингом 动察 Beating, Moonshot AI та університет Тсінхуа 16 квітня опублікували нову статтю на arXiv «Prefill-as-a-Service», у якій пропонується запускати етап попереднього заповнення (prefill) для великих моделей у міжданихцентрових мережах. Велика модель для розв'язання задачі робить два кроки: спочатку prefill — одразу зчитує вхідні дані та генерує кеш KV; потім decode — на основі цього кешу послідовно видає результат. Обидва кроки вимагають різних апаратних характеристик: prefill споживає обчислювальні ресурси, decode — пам’ять і пропускну здатність. Основна практика у галузі — розділяти ці кроки на різні машини (розділення PD), але це вимагає з’єднання через RDMA у одному дата-центрі, оскільки кеш KV для моделей з інтенсивною увагою видає десятки Гбіт/с, і при повільній передачі GPU просто залишається без роботи. Відповідь дає нове покоління гібридних моделей уваги. У статті експериментально показано, що моделі Kimi Linear, MiMo-V2-Flash, Ring-2.5-1T та інші, поєднуючи кілька повних шарів уваги з великою кількістю лінійних шарів, зменшили пропускну здатність кешу KV приблизно у десять разів, а компресія Ring-2.5-1T досягла 36-кратного зменшення. Тепер кеш KV можна переносити з приватної мережі RDMA на звичайний Ethernet. Конкретна реалізація PrfaaS: створюється окрема «кластер попереднього заповнення», куди маршрутизуються запити з довгим контекстом і непопаданнями префіксів, а короткі запити залишаються у локальному PD-кластері; після заповнення кешу через Ethernet його повертають у локальний кластер для decode. Вводяться порогові значення довжини, пропускна здатність та динамічний розподіл навантаження, а також гібридний кеш префіксів. У статті проведено експерименти з внутрішньою моделлю hybrid на 1Т параметрів (на базі архітектури Kimi Linear), які показали, що загальна пропускна здатність сервісу у порівнянні з однорідною розгорткою PD зросла на 54%, а у порівнянні з простим гібридним рішенням — на 32%, при цьому кожна машина використовує помірну міжданихцентрову пропускну здатність. (Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

7 лайків

Нагородити
7
9
2
Поділіться

Прокоментувати

Додати коментар

VolatilityOfToastingBread

· 4год тому

Коротке запитання залишити локальний PD цілком логічно, адже затримка чутлива, довгий контекст вартий зусиль