Kimi đã tách rời Prefill/Decode để chơi đùa giữa các trung tâm dữ liệu, phá vỡ trở ngại truyền tải của bộ nhớ đệm KV, chi phí suy luận thật sự có thể giảm xuống? Lần này có chút gì đó đặc biệt

Xem bản gốc
MeNews
Moonshot AI mở rộng công nghệ tách rời Prefill/Decode sang trung tâm dữ liệu chéo và phần cứng dị thể
ME News Tin tức, ngày 18 tháng 4 (UTC+8), nhóm Moonshot AI gần đây thông báo rằng công nghệ tách rời Prefill (tiền điền) và Decode (giải mã) của họ đã thành công mở rộng từ một cụm đơn lẻ sang môi trường trung tâm dữ liệu đa trung tâm và phần cứng dị thể. Theo quan điểm trong bài viết, bước này có khả năng giảm đáng kể chi phí suy luận cho mỗi token. Trước đó, việc mở rộng công nghệ này bị cản trở bởi vấn đề chi phí truyền tải bộ nhớ đệm KV. Thành công này phụ thuộc vào mô hình lai Kimi của họ.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim