Cursor công bố công nghệ tối ưu hóa suy luận MoE Warp Decode, tăng throughput trên GPU Blackwell lên 1.84 lần

Theo dõi từ 1M AI News, công cụ lập trình AI Cursor đã công bố một bài blog kỹ thuật, giới thiệu phương pháp tăng tốc suy luận MoE (mô hình chuyên gia hỗn hợp) do hãng tự nghiên cứu tên Warp Decode. Phương pháp này hướng tới kịch bản sinh token theo lô nhỏ trên GPU Nvidia Blackwell, đảo ngược chiến lược song song truyền thống lấy chuyên gia làm trung tâm sang chiến lược lấy đầu ra làm trung tâm: trong GPU, mỗi warp (đơn vị lịch trình tối thiểu gồm 32 tác vụ xử lý song song) chỉ chịu trách nhiệm tính toán một giá trị đầu ra, độc lập duyệt qua tất cả các chuyên gia được định tuyến tới và hoàn thành phép cộng trong thanh ghi, không cần đồng bộ giữa các warp hay bộ đệm trung gian.

Pipeline suy luận MoE truyền thống có tổng cộng 8 giai đoạn, trong đó 5 giai đoạn chỉ dùng để chuyển dữ liệu cho các “góc nhìn” của chuyên gia, không thực hiện tính toán thực sự. Warp Decode nén toàn bộ lớp tính toán MoE thành 2 CUDA kernel, loại bỏ các bước trung gian như đệm (padding), phân tán (scatter), hợp nhất (gather), v.v.; với mỗi token, giảm hơn 32KB thao tác đọc/ghi cho bộ đệm trung gian.

Trên GPU Nvidia B200, với mô hình phong cách Qwen-3 đo thực nghiệm, Warp Decode đạt mức tăng 1,84 lần về thông lượng giải mã đầu-cuối, và do tính toán toàn trình bằng độ chính xác BF16/FP32, đồng thời tránh được tổn thất do lượng tử hóa trung gian, độ chính xác đầu ra gần gấp 1,4 lần so với mốc FP32 của đường truyền truyền thống. Về hiệu quả sử dụng băng thông phần cứng, khi kích thước lô là 32, thông lượng liên tục đạt 3,95 TB/s, tương đương khoảng 58% so với băng thông đỉnh của B200 (6,8 TB/s). Tối ưu này trực tiếp tăng tốc quá trình phát triển và lặp phiên bản của mô hình lập trình tự nghiên cứu Composer của Cursor.