Cursor mengumumkan teknologi optimisasi inferensi MoE Warp Decode, meningkatkan throughput sebesar 1,84 kali di GPU Blackwell

Berdasarkan pemantauan 1M AI News, alat pemrograman berbasis AI Cursor merilis blog teknis yang memperkenalkan metode akselerasi inferensi MoE (model campuran pakar) yang dikembangkannya sendiri, yaitu Warp Decode. Metode ini ditujukan untuk skenario generasi token berukuran kecil pada GPU NVIDIA Blackwell, dengan membalikkan strategi paralel tradisional yang berpusat pada pakar menjadi strategi yang berpusat pada keluaran: setiap warp di GPU (unit penjadwalan minimum yang terdiri dari 32 unit pemrosesan paralel) hanya bertugas menghitung satu nilai keluaran, secara independen menelusuri semua pakar yang dirutekan, dan menyelesaikan penjumlahan di register, tanpa perlu sinkronisasi lintas warp atau penyangga antara.

Pipeline inferensi MoE tradisional terdiri dari 8 tahap; di mana 5 tahap hanya digunakan untuk memindahkan data untuk tampilan pakar, tanpa melakukan perhitungan aktual. Warp Decode mengompresi seluruh lapisan perhitungan MoE menjadi 2 CUDA kernel, menghilangkan langkah-langkah antara seperti pengisian, penyebaran, dan penggabungan. Untuk setiap token, terjadi pengurangan lebih dari 32KB pada pembacaan/tulisan penyangga antara.

Dalam pengujian dunia nyata pada GPU NVIDIA B200 menggunakan model bergaya Qwen-3, Warp Decode mencapai peningkatan throughput decoding ujung-ke-ujung sebesar 1,84 kali, dan karena seluruh proses menggunakan perhitungan presisi BF16/FP32 serta menghindari kerugian akibat kuantisasi antara, akurasi keluaran mendekati nilai acuan FP32 hingga 1,4 kali dibanding jalur tradisional. Dari sisi pemanfaatan bandwidth perangkat keras, untuk ukuran batch 32, throughput berkelanjutan mencapai 3,95 TB/s, sekitar 58% dari bandwidth puncak B200 (6,8 TB/s). Optimasi ini langsung mempercepat iterasi pengembangan dan ritme rilis versi dari model pemrograman yang dikembangkan sendiri oleh Cursor, yaitu Composer.