تحليل: محتوى TileKernels مفتوح المصدر يتوافق مع مواصفات بنية Yifan Zhang الإصدار 4

وفقًا للمراقبة التي أجرتها Dongcha Beating، فإن مكتبة النواة TileKernels المفتوحة المصدر التي طورتها DeepSeek تتطابق بطرق متعددة مع مواصفات بنية V4 التي كشفت عنها ييفان Zhang سابقًا. ذكر Zhang أن الاتصالات المتبقية في V4 تستخدم Hyper-Connections. تتميز TileKernels المفتوحة المصدر بـ mHC (Hyper-Connections المقيدة بالمجال)، وهو نسخة محسنة من HC اقترحها فريق Byte Seed في عام 2024، لمعالجة مشكلة تباين الإشارة التي واجهت أثناء التدريب على نطاق واسع باستخدام HC الأصلي. يعتبر mHC نوعًا من Hyper-Connections، حيث أن HC الأصلي لا يدعم التدريب على نطاق واسع بشكل مستقر؛ لذلك، من المحتمل أن يكون mHC هو ما يُستخدم فعليًا في V4. ذكر Zhang أن V4 يستخدم Fused MoE Mega-Kernel لإدارة 384 تنشيط خبير عبر 6 طبقات MoE، بينما يتضمن وحدة MoE في TileKernels اختيار الخبراء Top-k، وتعيين الرموز إلى الخبراء، وتوزيع وجمع الخبراء المدمجين. تحتوي TileKernels أيضًا على نواة Engram، وهي وحدة ذاكرة شرطية اقترحها ورقة بحثية من DeepSeek في وقت سابق من هذا العام، لكن لم يُذكر Engram في مواصفات Zhang لـ V4. تدعم المكتبة معالجات SM90 (Hopper) وSM100 (Blackwell)، لكنها لا تدعم Huawei Ascend. سابقًا، أفادت صحيفة The Information أن V4 تم تدريبه على Blackwell، وأن DeepSeek قضت شهورًا في تكييف النموذج مع شرائح Huawei وCambricon.