Rakuten công bố "mô hình AI hiệu suất cao lớn nhất Nhật Bản", hồ sơ cấu hình cho thấy dựa trên kiến trúc DeepSeek V3

Odaily Planet Daily đưa tin, Tập đoàn Rakuten đã phát hành mô hình mã nguồn mở Rakuten AI 3.0, gọi đây là “mô hình AI hiệu suất cao lớn nhất Nhật Bản”. Mô hình này sử dụng kiến trúc MoE, tổng số tham số là 6710 tỷ, mỗi lần suy luận kích hoạt 370 tỷ tham số, cửa sổ ngữ cảnh là 128K, được tối ưu hóa cho các tình huống tiếng Nhật, và thể hiện vượt trội so với GPT-4o trong nhiều bài kiểm tra chuẩn tiếng Nhật.

Mô hình này là một trong những thành quả của dự án GENIAC do Bộ Kinh tế, Thương mại và Công nghiệp Nhật Bản phối hợp với Cơ quan Phát triển Công nghệ Năng lượng Mới (NEDO) thúc đẩy, nhận được một phần hỗ trợ về sức mạnh tính toán. Rakuten chưa tiết lộ nguồn gốc của mô hình cơ sở, chỉ cho biết được xây dựng dựa trên thành quả của cộng đồng mã nguồn mở.

Cộng đồng đã phát hiện trong các tệp mô hình trên HuggingFace, tệp config.json chứa các trường “deepseek_v3” và các kiến trúc liên quan, cùng với quy mô tham số và cấu hình ngữ cảnh phù hợp với DeepSeek V3, cho thấy mô hình này hoặc dựa trên DeepSeek V3 để tinh chỉnh cho tiếng Nhật.