Moonshot AI memperluas teknologi pemisahan Prefill/Decode ke pusat data lintas dan perangkat keras heterogen

ME News Tin tức, 18 April (UTC+8), Đội ngũ Moonshot AI gần đây thông báo rằng công nghệ tách rời Prefill (tiền điền) và Decode (giải mã) của họ đã thành công mở rộng từ một cụm máy chủ đơn lẻ sang môi trường trung tâm dữ liệu đa trung tâm và phần cứng dị thể. Theo quan điểm trong bài viết, bước này có khả năng giảm đáng kể chi phí suy luận cho mỗi token. Trước đó, việc mở rộng công nghệ này bị cản trở bởi vấn đề chi phí truyền tải bộ nhớ đệm KV. Thành công này chủ yếu dựa vào mô hình lai Kimi Linear của họ. (Nguồn: InFoQ)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 3
  • 1
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
PublicBlockchainUnderTheAurora
· 12jam yang lalu
Penasaran bagaimana penanganan latensi lintas DC, tidak dijelaskan secara rinci dalam teks
Lihat AsliBalas0
ExitLiquidityIntern
· 12jam yang lalu
Arsitektur model campuran tampaknya adalah variabel kunci, tunggu detail teknisnya.
Lihat AsliBalas0
GateUser-c1cab702
· 12jam yang lalu
Dari satu klaster ke banyak DC, tingkat kompleksitas proyek ini saja sudah membuat pusing kepala
Lihat AsliBalas0
  • Disematkan