Moonshot AI mở rộng công nghệ tách rời Prefill/Decode sang trung tâm dữ liệu chéo và phần cứng dị thể

ME News Tin tức, ngày 18 tháng 4 (UTC+8), nhóm Moonshot AI gần đây thông báo rằng công nghệ tách rời Prefill (tiền điền) và Decode (giải mã) của họ đã thành công mở rộng từ một cụm máy chủ đơn lẻ sang môi trường đa trung tâm dữ liệu và phần cứng dị thể. Theo quan điểm trong bài viết, bước này có khả năng giảm đáng kể chi phí suy luận cho mỗi token. Trước đó, việc mở rộng công nghệ này gặp trở ngại do chi phí truyền tải bộ nhớ đệm KV. Thành công này chủ yếu dựa vào mô hình lai Kimi Linear của họ. (Nguồn: InFoQ)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 3
  • 1
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
PublicBlockchainUnderTheAurora
· 13giờ trước
Tôi tò mò về cách xử lý độ trễ giữa các DC, trong bài viết không nói rõ.
Xem bản gốcTrả lời0
ExitLiquidityIntern
· 13giờ trước
Kiến trúc mô hình pha trộn dường như là biến số quan trọng, chờ các chi tiết kỹ thuật chính thức
Xem bản gốcTrả lời0
GateUser-c1cab702
· 14giờ trước
Từ một cụm đơn đến nhiều trung tâm dữ liệu, độ phức tạp của dự án này nghĩ cũng đã chóng mặt
Xem bản gốcTrả lời0
  • Đã ghim