من الورقة البحثية إلى إنتاج السعرات الحرارية على أرض الواقع، هذا السرعة لا تشبه الأكاديمية

موقع شبكة العملات الرقمية يعلن أن شركة Zhituo بالتعاون مع شبكة Yuxun ومعهد Tsinghua قدمت بنية شبكة استنتاج النموذج الكبير من الجيل التالي ZCube، بهدف حل مشكلة ازدحام الشبكة الهيكلية المتزايدة في نشر نماذج كبيرة تعتمد على فصل PD (الملء والتفكيك). تم تطبيق بنية ZCube في بيئة الإنتاج عبر الإنترنت GLM-5.1 coding. من خلال إلغاء محول العمود الفقري، واعتماد بنية شبكية مسطحة بالكامل (قطر الشبكة ذات القفزتين)، ودمج آلية الوصول المختلطة ذات المسارات الواحدة/المتعددة، حققت توازنًا في حركة المرور بين مفاتيح الشبكة عبر العقد. في الاختبارات المعيارية، قللت بنية ZCube بنسبة 33% من نفقات الأجهزة من المفاتيح ووحدات الألياف البصرية مقارنة بالبنية التقليدية، كما زادت معدل استنتاج GPU بمقدار 15%، وانخفضت قيمة النسبة المئوية P99 لوقت الانتظار عند أول رمز (TTFT) بنسبة 40.6%.