Zyphra pratinjau versi open-source ZAYA1-74B: pelatihan end-to-end seluruh perangkat keras AMD, 4B aktivasi dari total parameter 74B

Berita dari CoinWorld, versi pratinjau ZAYA1-74B open-source Zyphra menggunakan perangkat keras AMD sepenuhnya untuk pelatihan end-to-end, dengan total parameter model mencapai 74 miliar dan 4 miliar aktivasi per kali. Model ini didasarkan pada arsitektur ahli campuran (MoE), dan seluruh proses pra-pelatihan serta perluasan konteks dilakukan di atas kartu akselerator AMD MI300X. Untuk mengoptimalkan efisiensi teks panjang, model mengganti lapisan perhatian global dengan perhatian jendela geser berukuran 4K (SWA), dan pengujian resmi menunjukkan bahwa desain ini secara signifikan mengurangi penggunaan cache KV tanpa mengorbankan kinerja. Selama pelatihan, digunakan 150 triliun token data pra-pelatihan, dan selama pelatihan tengah sebanyak 30 triliun token, jendela konteks secara bertahap diperluas hingga 256K. Zyphra memilih untuk mengumumkan hasil PASS untuk membuktikan bahwa basis ini mampu menghasilkan langkah inferensi yang benar, dan versi lengkap ZAYA1-74B yang penuh diperkirakan akan dirilis dalam beberapa minggu mendatang.