Tsinghua + sisi gelap bulan kombinasi ini cukup menarik, lempar prefill ke pusat data jarak jauh, belenggu RDMA akhirnya terlepas.

ME News Tin tức, 18 April (UTC+8), menurut pemantauan Beating dari Dongcha, Moonshot AI dan Universitas Tsinghua pada 16 April mempublikasikan makalah baru di arXiv berjudul "Prefill-as-a-Service", yang mengusulkan agar tahap pra-pengisian (prefill) inferensi model besar berjalan lintas pusat data. Inferensi model besar terdiri dari dua langkah: prefill membaca input secara sekaligus dan menghasilkan cache KV; decode kemudian mengeluarkan hasil secara kata demi kata berdasarkan cache tersebut. Kedua langkah membutuhkan karakteristik perangkat keras yang sama sekali berbeda, prefill membutuhkan daya komputasi, decode membutuhkan memori grafis dan bandwidth. Pendekatan utama di industri adalah memisahkan kedua langkah ke mesin yang berbeda (PD terpisah), tetapi ini mengharuskan kedua sisi terhubung melalui RDMA di pusat data yang sama, karena kepadatan