Thư viện toán tử GPU mã nguồn mở DeepSeek DeepGEMM có bản cập nhật lớn, thêm Mega MoE hợp nhất năm bước tính toán MoE thành một kernel duy nhất

Tin tức ME News, ngày 16 tháng 4 (UTC+8), theo theo dõi Beating của Động Chấn, DeepSeek hôm nay đã phát hành bản cập nhật lớn nhất kể từ khi mở nguồn DeepGEMM. Thư viện phép toán GPU này được phát hành trong “Tuần mở nguồn” vào tháng 2 năm ngoái, ban đầu chỉ hỗ trợ nhân ma trận FP8, nay đã mở rộng thành thư viện phép toán đầy đủ cho các bước quan trọng trong suy luận mô hình lớn, hỗ trợ các phép tính ma trận với nhiều độ chính xác như FP8, FP4, BF16, cùng các phép toán chuyên dụng như MoE và điểm số chú ý.
Cập nhật cốt lõi là Mega MoE. Kiến trúc MoE (Chuyên gia hỗn hợp) là nền tảng của các mô hình như DeepSeek V3, trong quá trình suy luận cần thực hiện lần lượt năm bước: phân phối EP, biến đổi tuyến tính lớp đầu tiên, kích hoạt SwiGLU, biến đổi tuyến tính lớp thứ hai, hợp nhất EP. Cách làm truyền thống là gọi năm kernel riêng biệt theo thứ tự, mỗi lần đều phải chờ bước trước hoàn thành và dữ liệu di chuyển trong bộ nhớ GPU. Mega MoE hợp nhất năm bước này thành một kernel, cho phép truyền thông NVLink và tính toán Tensor Core diễn ra đồng thời, tiết kiệm thời gian chờ đợi và di chuyển dữ liệu trung gian. Hiện chỉ hỗ trợ tổ hợp độ chính xác FP8×FP4, yêu cầu phiên bản PyTorch 2.9 trở lên, nhóm phát triển cho biết vẫn đang tối ưu hóa, dữ liệu so sánh hiệu suất sẽ được công bố sau.
Các cập nhật khác bao gồm: nhân ma trận hỗn hợp FP8×FP4, hỗ trợ phép tính điểm chú ý FP4 cho MTP lớn hơn (Indexer), PDL (Khởi động phụ thuộc theo chương trình, một tối ưu hóa lập lịch GPU giảm độ trễ khởi động kernel), tốc độ JIT biên dịch nhanh hơn, cùng nhiều tối ưu cho phép tính ma trận MoE. Bản cập nhật này cũng đã thích ứng với bố cục dữ liệu MoE của DeepEPv2.
Trong phần mô tả PR đặc biệt ghi rõ: “Bản phát hành lần này chỉ liên quan đến phát triển DeepGEMM, không liên quan đến phát hành mô hình nội bộ.”
(Nguồn: BlockBeats)