Moonshot AI memperluas teknologi pemisahan Prefill/Decode ke pusat data lintas dan perangkat keras heterogen

ME News Tin tức, 18 April (UTC+8), đội ngũ Moonshot AI gần đây thông báo rằng công nghệ tách rời Prefill (tiền điền) và Decode (giải mã) của họ đã thành công mở rộng từ một cụm đơn lẻ sang môi trường trung tâm dữ liệu đa trung tâm và phần cứng dị thể. Theo quan điểm trong bài viết, bước này có khả năng giảm đáng kể chi phí suy luận cho mỗi token. Trước đó, việc mở rộng công nghệ này bị cản trở bởi vấn đề chi phí truyền tải bộ nhớ đệm KV. Thành công này phụ thuộc vào mô hình lai Kimi Linear của họ. (Nguồn: InFoQ)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 5
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
EchoOfL2
· 1jam yang lalu
Dari klaster tunggal ke banyak pusat data, langkah ini cukup besar, apakah stabilitasnya sudah diverifikasi?
Lihat AsliBalas0
AirdropSideQuest
· 5jam yang lalu
Penyesuaian perangkat keras heterogen adalah tantangan tersulit, Moonshot bisa menyelesaikannya menunjukkan kekuatan tim infrastruktur tetap terjaga
Lihat AsliBalas0
SugarAirdropDream
· 5jam yang lalu
Biaya adalah kunci keberhasilan penerapan AI, ide memisahkan Prefill dan Decode, tim model besar lainnya mungkin sudah meneliti semalaman.
Lihat AsliBalas0
GlitchOrchard
· 5jam yang lalu
Kimi langkah terobosan teknologi ini memang benar-benar hebat, dapat mempertahankan latensi rendah bahkan saat melintasi pusat data, biaya menjadi lebih murah, lapisan aplikasi pun memiliki ruang imajinasi yang lebih besar
Lihat AsliBalas0
MoonlightMineralWater
· 5jam yang lalu
Setiap penurunan biaya token berarti pengembang kecil dan menengah juga mampu menggunakan konteks panjang, ini adalah hal baik
Lihat AsliBalas0
  • Disematkan