Zyphra merilis model bahasa penyebaran ekosistem AMD pertama, dengan percepatan hingga 7,7 kali lipat

AIMPACT Pesan, 15 Mei (UTC+8), menurut pemantauan Beating dari Dongcha, Zyphra merilis model difusi campuran ahli (MoE) yang dikonversi dari model bahasa besar autoregressive bernama ZAYA1-8B-Diffusion-Preview. Meskipun secara resmi mengklaim sebagai "model pertama" yang mengimplementasikan arsitektur ini, jalur ini sebenarnya telah terlebih dahulu dijalankan oleh tim seperti SDAR dan LLaDA 2.0 pada akhir tahun lalu. Satu-satunya label keunikan ZAYA1 adalah bahwa ini adalah model bahasa difusi pertama yang dilatih dalam ekosistem perangkat keras AMD.

Mengabaikan bahasa pemasaran, model ini tetap membuktikan nilai peningkatan efisiensi rekayasa dari arsitektur difusi. Model autoregressive tradisional terbatas oleh generasi serial kata demi kata, dan akumulasi KV Cache akan membuat kecepatan generasi mencapai batas fisik. Seperti tren industri yang diungkapkan oleh tim He Kaiming dengan model difusi murni ELF baru-baru ini, denoising paralel adalah kunci untuk memecahkan hambatan ini.

ZAYA1 menggunakan skema TiDAR yang melewati pelatihan pra-pelatihan dari awal, dan dalam satu forward pass dapat secara bersamaan melakukan denoising terhadap 16 kandidat token, secara drastis mengubah bottleneck bandwidth memori menjadi bottleneck kekuatan komputasi.

Pengujian menunjukkan bahwa, dengan mekanisme perhatian CCA khusus ZAYA1, menggunakan sampler tanpa kehilangan standar dapat mencapai percepatan 4,6 kali tanpa menurunkan kualitas generasi. Setelah beralih ke sampler logit campuran, percepatan meningkat menjadi 7,7 kali, memberikan ruang pengurangan biaya yang substansial untuk tugas inferensi skala besar yang memakan waktu lama. (Sumber: BlockBeats)