Kimi kali ini berhasil memahami pemisahan Prefill/Decode, sehingga lintas pusat data masih bisa menghemat biaya token, cukup menarik

Lihat Asli
MeNews
Moonshot AI memperluas teknologi pemisahan Prefill/Decode ke pusat data lintas dan perangkat keras heterogen
ME News Tinju, 18 April (UTC+8), Tim Moonshot AI baru-baru ini mengumumkan bahwa teknologi pemisahan Prefill dan Decode mereka telah berhasil diperluas dari satu kluster ke lingkungan pusat data lintas dan perangkat keras heterogen. Menurut pendapat dalam artikel tersebut, langkah ini diharapkan dapat secara signifikan mengurangi biaya inferensi untuk setiap token. Sebelumnya, perluasan teknologi ini terhambat oleh masalah biaya transmisi cache KV. Terobosan kali ini sangat bergantung pada model campuran mereka, Kimi.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan