Moonshot AI memperluas teknologi pemisahan Prefill/Decode ke pusat data lintas dan perangkat keras heterogen

ME News Berita, 18 April (UTC+8), Tim Moonshot AI baru-baru ini mengumumkan bahwa teknologi pemisahan Prefill (pengisian awal) dan Decode (dekode) mereka telah berhasil diperluas dari satu klaster tunggal ke lingkungan pusat data lintas dan perangkat keras heterogen. Menurut pendapat dalam artikel tersebut, langkah ini diharapkan dapat secara signifikan menurunkan biaya inferensi per token. Sebelumnya, perluasan teknologi ini terhambat oleh biaya transmisi cache KV. Terobosan kali ini sangat bergantung pada model campuran mereka, Kimi Linear. (Sumber: InFoQ)

Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Sematkan