ME Новини повідомляють, 18 квітня (UTC+8), згідно з моніторингом 动察 Beating, що Moonshot AI та Університет Цінхуа 16 квітня опублікували нову статтю на arXiv «Prefill-as-a-Service», у якій пропонується запускати етап попереднього заповнення (prefill) для розумних моделей у міжданих центрах. Велика модель для розуміння робить два кроки: спочатку prefill — одразу зчитує вхідні дані та генерує кеш KV; потім decode — на основі цього кешу послідовно виводить результат. Обидва кроки вимагають зовсім різних апаратних характеристик: prefill споживає обчислювальні ресурси, decode — пам’ять і пропускну здатність. Основна практика у галузі — розділяти ці два кроки на різні машини (розділення PD), але це вимагає з’єднання через RDMA у одному дата-центрі, оскільки кеш KV для інтенсивних моделей уваги видає сотні Гбіт/с, і при повільній передачі GPU просто залишається без роботи. Переломний момент настав із новим поколінням гібридних моделей уваги. У статті експериментально показано, що моделі Kimi Linear, MiMo-V2-Flash, Ring-2.5-1T та інші, поєднуючи кілька повних шарів уваги з великою кількістю лінійних шарів, зменшили пропускну здатність кешу KV приблизно у десять разів, а сумарне стиснення Ring-2.5-1T досягло 36-кратного. Тепер кеш KV можна переносити з приватної мережі RDMA на звичайний Ethernet для передачі. Конкретна реалізація PrfaaS: створюється окремий «кластер попереднього заповнення», куди маршрутизуються запити з довгим контекстом і непопаданнями префіксів, а короткі запити залишаються у локальному PD-кластері; після завершення попереднього заповнення кеш KV передається назад у локальний кластер через Ethernet для decode. Вводяться порогові значення довжини, сенсори пропускної здатності та гібридний кеш префіксів. У статті використано внутрішню гібридну модель з 1Т параметрів (на базі архітектури Kimi Linear), і проведено серію експериментів, які показали, що загальна пропускна здатність сервісу у порівнянні з однорідним розгортанням на PD вища на 54%, а у порівнянні з простим гібридним рішенням — на 32%, при цьому кожна машина використовує помірну міждоменну пропускну здатність. (Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

13 лайків

Нагородити
13
7
1
Поділіться

Прокоментувати

Додати коментар

GateUser-57ab9c02

· 3год тому

Коротке прохання залишити локально дуже розумне, щоб уникнути зайвого галасу