Тяньцзинь + Тінь Місяця — ця комбінація досить цікава, відправити попереднє заповнення до віддаленого центру даних, нарешті зняти кайдани RDMA.

ME News Новини, 18 квітня (UTC+8), згідно з моніторингом Beating, Moonshot AI та університет Цінхуа 16 квітня опублікували нову статтю на arXiv «Prefill-as-a-Service», у якій пропонується запускати етап попереднього заповнення (prefill) для великих моделей для розуміння на різних дата-центрах. Великі моделі для розуміння працюють у два етапи: спочатку prefill — одразу зчитують вхідні дані та генерують кеш KV; потім decode — на основі цього кешу послідовно виводять результат. Обидва етапи вимагають зовсім різних апаратних характеристик: prefill споживає обчислювальні ресурси, decode — пам’ять і пропускну здатність шини. Основна практика у галузі — розділяти ці два етапи на різні машини (розділення PD), але для цього потрібно, щоб обидві сторони були в одному дата-центрі та з’єднані через RDMA, оскільки щільність…