Kimi kali ini pemisahan data pusat lintas ini cukup menarik, mengurangi biaya inferensi adalah yang benar-benar inklusif

Lihat Asli
MeNews
Moonshot AI memperluas teknologi pemisahan Prefill/Decode ke pusat data lintas dan perangkat keras heterogen
ME News Tin tức, 18 tháng 4 (UTC+8), nhóm Moonshot AI gần đây thông báo rằng công nghệ tách rời Prefill (tiền điền) và Decode (giải mã) của họ đã thành công mở rộng từ một cụm đơn lẻ sang môi trường đa trung tâm dữ liệu và phần cứng dị thể. Theo quan điểm trong bài viết, bước này có khả năng giảm đáng kể chi phí suy luận cho mỗi token. Trước đó, việc mở rộng công nghệ này bị cản trở bởi vấn đề chi phí truyền tải bộ đệm KV. Thành công này phụ thuộc vào mô hình lai Kimi của họ.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan