MiniMax lần này trực tiếp vọt lên 2,7 nghìn tỷ tham số, nếu thực sự mã nguồn mở, cục diện mô hình lớn nội địa sẽ thay đổi lớn.

Tin tức từ BijieNet: MiniMax đang phát triển một mô hình ngôn ngữ lớn với 2,7 nghìn tỷ tham số, có thể ra mắt sớm nhất trong quý 3 và dự kiến sẽ mã nguồn mở. Mô hình này có mã nội bộ là m3 pro, nhưng tên phát hành cuối cùng chưa được xác định. Nếu tiến hành mở trọng số theo kế hoạch, mô hình này có tiềm năng trở thành mô hình mã nguồn mở có quy mô tham số lớn nhất toàn cầu. Mô hình hàng đầu hiện tại của MiniMax là m3 với 428 tỷ tham số, mô hình mới có quy mô gấp khoảng 6,3 lần m3, cũng sẽ vượt qua nhiều mô hình mã nguồn mở có trọng số nghìn tỷ tham số hiện có. Quy mô tham số lớn hơn thường có lợi cho các tác vụ suy luận phức tạp và chỉ thị đa bước, nhưng hiệu suất cuối cùng vẫn phụ thuộc vào chất lượng huấn luyện, tham số kích hoạt, chi phí suy luận và kết quả đánh giá.