ييفان تشانغ يكشف عن المواصفات التقنية الكاملة لـ DeepSeek V4: 1.6 تيرابايت من المعلمات، و384 خبير تنشيط لستة

معلومات أخبار ME، في 22 أبريل (بتوقيت UTC+8)، وفقًا لمراقبة Beating، قام طالب الدكتوراه في برينستون ييفان تشانغ بتحديث التفاصيل التقنية لـ DeepSeek V4 على منصة X. لقد أعلن في 19 أبريل عن إصدار “V4 الأسبوع المقبل” وذكر ثلاثة أسماء لمكونات الهيكل، وأعطى الليلة جدول المعلمات الكامل، وكشف لأول مرة عن وجود نسخة خفيفة من V4 تسمى V4-Lite تحتوي على 285 مليار معلمة. إجمالي حجم V4 هو 1.6 تيرابايت. آلية الانتباه هي DSA2، والتي تجمع بين نوعي الانتباه المتن sparse attention المستخدمين سابقًا في V3.2، وهما DSA (DeepSeek Sparse Attention) وNSA (Native Sparse Attention) الذي اقترح في ورقة بحثية بداية هذا العام، مع حجم رأس 512، بالتوافق مع Sparse MQA وSWA (انتباه النوافذ المتحركة). طبقة MoE تتكون من 384 خبيرًا، يتم تنشيط 6 منهم في كل مرة، باستخدام نواة Mega-Kernel المدمجة لـ Fused MoE. يتم استخدام اتصالات التوصيل المتبقية Hyper-Connections. التفاصيل التي تم الكشف عنها لأول مرة في مرحلة التدريب تشمل: استخدام محسن Muon (مُحسن مصفوفي يستخدم تطبيق طريقة Newton-Schulz للتطبيع المتعامد على تحديث الزخم)، طول سياق ما قبل التدريب 32 ألف، وخلال مرحلة التعلم المعزز تم استخدام GRPO مع إضافة تصحيح KL divergence. وتم توسيع طول السياق النهائي إلى مليون. النموذج يعتمد على النصوص فقط. ييفان تشانغ لا يشغل منصبًا في DeepSeek، ولم ترد شركة DeepSeek رسميًا على المعلومات المذكورة أعلاه. (المصدر: BlockBeats)