Moonshot AI đã mở rộng công nghệ tách rời Prefill/Decode sang các trung tâm dữ liệu liên kết và phần cứng đa dạng

ME News Tin tức, ngày 18 tháng 4 (UTC+8), nhóm Moonshot AI gần đây thông báo rằng công nghệ tách rời Prefill (tiền điền) và Decode (giải mã) của họ đã thành công mở rộng từ một cụm máy chủ đơn lẻ sang môi trường trung tâm dữ liệu liên vùng và phần cứng đa dạng. Theo quan điểm trong bài viết, bước này có khả năng giảm đáng kể chi phí suy luận cho mỗi token. Trước đó, việc mở rộng công nghệ này gặp trở ngại do chi phí truyền tải bộ nhớ đệm KV. Thành công này chủ yếu dựa vào mô hình lai Kimi Linear của họ. (Nguồn: InFoQ)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 5
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
EchoOfL2
· 3giờ trước
Từ một cụm đơn đến nhiều trung tâm dữ liệu, bước này đã đủ lớn chưa, và độ ổn định đã được xác nhận chưa
Xem bản gốcTrả lời0
AirdropSideQuest
· 7giờ trước
Việc thích nghi với phần cứng đa dạng mới là phần khó nhất, Moonshot có thể xử lý điều đó chứng tỏ đội ngũ hạ tầng có thực lực tốt
Xem bản gốcTrả lời0
SugarAirdropDream
· 7giờ trước
Chi phí là yếu tố then chốt để AI đi vào thực tế, ý tưởng tách rời Prefill và Decode, các nhóm mô hình lớn khác có lẽ đã đang nghiên cứu suốt đêm rồi
Xem bản gốcTrả lời0
GlitchOrchard
· 7giờ trước
Kimi lần này đột phá công nghệ thực sự rất mạnh mẽ, có thể duy trì độ trễ thấp qua nhiều trung tâm dữ liệu, chi phí đã giảm, tầng ứng dụng mới có nhiều không gian tưởng tượng hơn
Xem bản gốcTrả lời0
MoonlightMineralWater
· 7giờ trước
Chi phí cho mỗi token giảm, có nghĩa là các nhà phát triển nhỏ và trung có thể sử dụng được ngữ cảnh dài, điều này là điều tốt
Xem bản gốcTrả lời0
  • Đã ghim