Kiến trúc MoE thưa, 25B tham số kích hoạt tiết kiệm năng lượng đến tận tâm

Xem bản gốc
CoinNetwork
Cohere mã nguồn mở Command A+:Mô hình lớn MoE 218B tham số, tập trung vào Agent doanh nghiệp và chủ quyền dữ liệu
Cohere chính thức mở mã mô hình hỗn hợp thưa chuyên gia 2180 tỷ tham số Command A+, sử dụng Apache 2.0, hướng tới doanh nghiệp Agent và triển khai riêng tư, nhấn mạnh quyền kiểm soát dữ liệu và cách ly vật lý. Tổng thể 218B, kích hoạt suy luận đơn lần 25B; có thể chạy trên hai card H100 hoặc một card B200, Hugging Face cung cấp các phiên bản độ chính xác thấp như W4A4. Command A+ tích hợp đầu vào đa phương thức nguyên bản, bối cảnh đầu vào 128K, độ dài đầu ra 64K, dành cho các quy trình suy luận phức tạp, gọi công cụ tự chủ, truy vấn cơ sở dữ liệu và các luồng công việc khác, cũng như xử lý tài liệu dài, hỗ trợ 48 ngôn ngữ (bao gồm các ngôn ngữ chính thức của EU).
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim