JetBrains đợt mở nguồn này rất thực tế, mô hình 12B chỉ kích hoạt 2.5B, chi phí kiểm soát cực kỳ chặt chẽ, dự thảo MTP cũng có chút ý nghĩa

JetBrains mở nguồn Mellum-2, mô hình chuyên gia mã hóa hỗn hợp với 12B tham số. Để kiểm soát chi phí suy luận, mỗi token chỉ kích hoạt khoảng 2.5 tỷ tham số, trọng số đã được phát hành trên Hugging Face, Apache 2.0. Thêm vào đó là mô-đun dự đoán nhiều token (MTP), trong quá trình suy luận, đầu MTP hoạt động như một mô hình sơ bộ để tăng tốc quá trình lấy mẫu. Cung cấp ba phiên bản: cơ bản, đối thoại, suy nghĩ, trong đó phiên bản suy nghĩ có thể hiển thị chuỗi suy nghĩ rõ ràng trước khi xuất ra. Tiêu chuẩn đánh giá: Humaneval 41.46%, MMLU 70.87%.