Yifan Zhang mengungkapkan spesifikasi lengkap DeepSeek V4: 1,6T parameter, 384 ahli mengaktifkan 6 unit

Berita ME, 22 April (UTC+8), menurut pemantauan Beating dari Dongcha, mahasiswa doktoral Princeton Yifan Zhang memperbarui detail teknologi DeepSeek V4 di X. Dia mengumumkan “V4 minggu depan” pada 19 April dan menyebutkan tiga nama komponen arsitektur, malam ini merilis tabel parameter lengkap, serta mengungkapkan untuk pertama kalinya adanya versi ringan V4-Lite dengan 285 miliar parameter. Total parameter V4 adalah 1,6 triliun. Mekanisme perhatian menggunakan DSA2, menggabungkan dua skema perhatian jarang yang digunakan sebelumnya di V3.2, yaitu DSA (DeepSeek Sparse Attention) dan NSA (Native Sparse Attention) yang diusulkan dalam makalah awal tahun ini, dengan head-dim 512, dipadukan dengan Sparse MQA dan SWA (attention jendela geser). Layer MoE terdiri dari 384 ahli, setiap kali mengaktifkan 6, menggunakan Fused MoE Mega-Kernel. Koneksi residual menggunakan Hyper-Connections. Detail yang diungkap pertama kali selama pelatihan meliputi: optimizer menggunakan Muon (sejenis optimizer matriks yang menerapkan Newton-Schulz orthogonalization untuk pembaruan momentum), panjang konteks pra-pelatihan 32K, fase pembelajaran penguatan menggunakan GRPO dan penyesuaian KL divergence. Panjang konteks akhirnya diperluas menjadi 1 juta. Modalnya adalah teks murni. Zhang tidak menjabat di DeepSeek, dan pihak resmi DeepSeek belum memberikan tanggapan terhadap informasi tersebut. (Sumber: BlockBeats)