ME Новини повідомляють, 18 квітня (UTC+8), згідно з моніторингом 动察 Beating, що Moonshot AI та університет Цінхуа 16 квітня опублікували нову статтю на arXiv «Prefill-as-a-Service», у якій пропонується запускати етап попереднього заповнення (prefill) для розумних моделей у міжданих центрах. Велика модель для розуміння виконує два кроки: спочатку prefill — одразу зчитує вхідні дані та генерує кеш KV; потім decode — на основі цього кешу послідовно виводить результат. Обидва кроки вимагають зовсім різних апаратних характеристик: prefill споживає обчислювальні ресурси, а decode — пам’ять і пропускну здатність. Основна практика у галузі — розділяти ці кроки на різні машини (PD розділення), але це вимагає з’єднання через RDMA у одному дата-центрі, оскільки кеш KV для моделей з інтенсивною увагою передає десятки Гбіт за секунду, і якщо передача затримується, GPU просто стоїть у режимі очікування. Переломний момент настав із новим поколінням гібридних моделей уваги. У статті експериментально показано, що моделі Kimi Linear, MiMo-V2-Flash, Ring-2.5-1T та інші, поєднуючи кілька повних шарів уваги з великою кількістю лінійних шарів, зменшили пропускну здатність кешу KV приблизно у десять разів, а сумарне стиснення Ring-2.5-1T досягло 36-кратного зменшення. Тепер кеш KV можна переносити з приватної мережі RDMA у звичайну Ethernet. Конкретна реалізація PrfaaS: створюється окремий «кластер попереднього заповнення», куди маршрутизуються запити з довгим контекстом і непопаданнями префіксів, а короткі запити залишаються у локальному PD-кластері; після завершення попереднього заповнення кеш KV передається назад у локальний кластер через Ethernet для decode. Вводяться порогові значення довжини, сенсори пропускної здатності та гібридний кеш префіксів. У статті використано внутрішню модель hybrid з 1Т параметром (на базі архітектури Kimi Linear), і проведено серію експериментів, які показали, що загальна пропускна здатність сервісу у порівнянні з однорідним розгортанням PD вища на 54%, а у порівнянні з простим гібридним рішенням — на 32%, при цьому кожна машина використовує помірну міждата-центрівську пропускну здатність. (Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

7 лайків

Нагородити
7
6
Репост
Поділіться

Прокоментувати

Додати коментар

DewdropSapling

· 27хв. тому

PrfaaS ця назва, чи буде в майбутньому ще й Decode-as-a-Service