Комбинация Tsinghua + Луна Тени довольно интересна, отправить prefill в удалённый дата-центр, наконец, сняты оковы RDMA.

ME News Новости, 18 апреля (UTC+8), согласно мониторингу 动察 Beating, Лунная тень (Moonshot AI) и Университет Цинхуа 16 апреля опубликовали новую статью на arXiv «Prefill-as-a-Service», предлагающую запуск этапа предварительного заполнения (prefill) для вывода больших моделей через межцентровую связь. Большие модели для вывода делятся на два шага: сначала prefill — однократное чтение входных данных и создание кеша KV; затем decode — последовательное вывод результатов на основе этого кеша. Оборудование, необходимое для двух шагов, полностью различно: prefill требует вычислительных ресурсов, decode — памяти видеокарт и пропускной способности памяти. Основной подход в индустрии — разделение двух шагов на разные машины (PD разделение), но это требует использования RDMA для межцентровой связи, поскольку плотное