Moonshot AI mở rộng công nghệ tách rời Prefill/Decode sang trung tâm dữ liệu chéo và phần cứng dị thể

ME News Tin tức, ngày 18 tháng 4 (UTC+8), nhóm Moonshot AI gần đây thông báo rằng công nghệ tách rời Prefill (tiền điền) và Decode (giải mã) của họ đã thành công mở rộng từ một cụm máy chủ đơn lẻ sang môi trường trung tâm dữ liệu liên vùng và phần cứng dị thể. Theo quan điểm trong bài viết, bước này có khả năng giảm đáng kể chi phí suy luận cho mỗi token. Trước đó, việc mở rộng công nghệ này gặp trở ngại do chi phí truyền tải bộ nhớ đệm KV. Thành công này chủ yếu dựa vào mô hình lai Kimi Linear của họ. (Nguồn: InFoQ)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 10
  • 2
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
GateUser-ad8b77bd
· 14giờ trước
Chuyển từ cụm đơn sang đa trung tâm dữ liệu, độ khó kỹ thuật không cùng một cấp độ
Xem bản gốcTrả lời0
CheckTheBlockchainBefore
· 05-30 13:15
Mô hình pha trộn cụ thể như thế nào? Có phải là MOE hay kiến trúc khác
Xem bản gốcTrả lời0
FeeTakerPhD
· 05-30 12:20
Cuối cùng đã chờ đợi việc triển khai đa DC, liệu chi phí truyền tải bộ đệm KV có thực sự giảm xuống được không
Xem bản gốcTrả lời0
PopFruitCollage
· 05-30 12:18
Chéo trung tâm dữ liệu + đa dạng, độ phức tạp vận hành và bảo trì bùng nổ nhỉ
Xem bản gốcTrả lời0
ExitLiqNow
· 05-30 12:17
Trước đây đã truyền KV cache, bây giờ đã vượt qua một cột mốc quan trọng
Xem bản gốcTrả lời0
OwlAuthorizationMonitor
· 05-30 12:17
Mỗi token rẻ hơn một chút, số lượng lớn mới là thật vàng thật bạc
Xem bản gốcTrả lời0
TheStoneBehindTheVolcano
· 05-30 12:17
Moonshot lần này về nợ kỹ thuật vẫn còn khá đẹp
Xem bản gốcTrả lời0
ButterStop-LossLine
· 05-30 12:17
Giảm chi phí mới là nguyên tắc cứng, chờ dữ liệu thực tế đo lường
Xem bản gốcTrả lời0
LatencyLullaby
· 05-30 12:17
Việc tiền xử lý và giải tách riêng, liệu độ trễ có thể sẽ tăng lên không?
Xem bản gốcTrả lời0
MechanicalHummingbirdGlass
· 05-30 12:17
Mô hình pha trộn của Kimi có chút gì đó, có thể chạy trên phần cứng phi đồng nhất
Xem bản gốcTrả lời0
Xem thêm
  • Đã ghim