MiniMax đã mở mã nguồn MSA, suy luận ngữ cảnh khoảng một triệu token cuối cùng cuối cùng không cần tiêu tốn thẻ, giấy phép MIT cho phép sử dụng thương mại trực tiếp, tuần này chờ đợi trọng số M3

Xem bản gốc
CoinNetwork
MiniMax mã nguồn mở thư viện chú ý riêng biệt Blackwell, trọng số M3 dự kiến phát hành vào thứ Sáu tuần này
Trang tin tức Coinjie Wang đưa tin, MiniMax đã công bố thư viện chú ý hiệu suất cao MSA dành cho NVIDIA Blackwell (SM100 đã mã hóa nguồn mở, giấy phép MIT, trọng số MiniMax-M3 được phát hành trong tuần này. MSA thông qua lọc các khối KV, chỉ thực thi chú ý trên các khối liên quan, hỗ trợ suy luận ngữ cảnh hàng triệu cấp. Nghiên cứu cho thấy, trong bối cảnh 1 triệu token, MSA giảm đáng kể lượng tính toán so với Dense GQA, và đạt tốc độ tăng đáng kể trên H800. Phiên bản mã nguồn mở tích hợp C++ JIT và Cute-DSL, hỗ trợ đa độ chính xác.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim