ييفان تشانغ تكشف عن المواصفات التقنية الكاملة لـ DeepSeek V4: 1.6 تيرابايت من المعلمات، و384 خبير تنشيط لستة

وفقًا لمراقبة بيترينغ، قام الدكتور ييفان Zhang من جامعة برينستون بتحديث التفاصيل التقنية لـ DeepSeek V4 على منصة X.
في 19 أبريل، أعلن عن “V4 الأسبوع المقبل” وذكر ثلاثة أسماء لمكونات الهيكل، وقدم الليلة جدول المعلمات الكامل، وكشف لأول مرة عن وجود نسخة خفيفة من V4 تسمى V4-Lite تحتوي على 285 مليار معلمة.

إجمالي حجم V4 هو 1.6 تيرابايت.
آلية الانتباه هي DSA2، والتي تجمع بين DSA (الانتباه المتناثر العميق) الذي استخدمته DeepSeek سابقًا في V3.2 وNSA (الانتباه المتناثر الأصلي) الذي اقترحته الورقة البحثية في بداية هذا العام، وهما نوعان من خطط الانتباه المتناثر، مع رأس-البعد 512، بالتزامن مع Sparse MQA وSWA (انتباه النافذة المنزلقة).
طبقة MoE تتكون من 384 خبيرًا، يتم تنشيط 6 منهم في كل مرة، باستخدام نواة موحدة لـ Mega-Kernel من نوع Fused MoE.
الاتصال المتبقي يستخدم Hyper-Connections.

التفاصيل التي تم الكشف عنها لأول مرة في مرحلة التدريب تشمل:
استخدام المحسن Muon (نوع من المحسن الذي يطبق تقنيات نيوتن-شولز للتطابق على تحديثات الزخم)،
طول سياق ما قبل التدريب 32 ألف،
وفي مرحلة التعلم المعزز، تم استخدام GRPO مع إضافة تصحيح KL divergence.
وفي النهاية، تم توسيع طول السياق إلى مليون.
النموذج يعتمد على النصوص فقط.

ييفان Zhang لا يشغل منصبًا في DeepSeek، ولم ترد شركة DeepSeek رسميًا على المعلومات المذكورة أعلاه.