وفقًا للمراقبة التي أجرتها Dongcha Beating، أطلقت Zhipu واجهة برمجة تطبيقات عالية السرعة من نوع GLM-5.1 للعملاء من الشركات المختارين، محققة سرعة إخراج نموذجية تبلغ 400 رمز/ثانية، مما يضع رقمًا قياسيًا عالميًا جديدًا لحدود السرعة الشاملة لواجهات النماذج الكبيرة الرسمية. يحتفظ هذا الإصدار عالي السرعة بقدرات النموذج الرائد الأصلي بينما يتم تشغيله بواسطة محرك استنتاج عالي الأداء تم تطويره بشكل مشترك من قبل Zhipu وفريق TileRT. أعاد هذا المحرك هيكلة آلية جدولة العمليات على وحدة معالجة الرسومات بشكل كامل، حيث يتم ترتيب النموذج بشكل ثابت في نواة محرك مستمرة تقيم على وحدة معالجة الرسومات خلال مرحلة التجميع. أثناء الاستنتاج باستخدام بطاقة واحدة، يتم تفكيك الحسابات، الإدخال/الإخراج غير المتزامن، والاتصالات إلى مهام صغيرة على مستوى البلاط، مع تشغيل النواة مرة واحدة فقط. يتم نقل النتائج الوسيطة بين المشغلين مباشرة عبر السجلات والذاكرات المشتركة، مما يلغي التأخير الناتج عن بدء تشغيل النواة بشكل متكرر وقراءة/كتابة الذاكرة في الاستنتاج التقليدي. عند التوسع إلى إعداد متعدد البطاقات، يوسع TileRT نهج التخصص في التوازي عبر بنية NVL ذات 8 بطاقات، محولًا العقدة GPU المتجانسة أصلاً إلى عمال غير متجانسين مسؤولين عن مهام مختلفة. عند التعامل مع حسابات طبقة الانتباه في GLM-5.1، يُخصص النظام وحدة معالجة الرسومات 0 لتشغيل عامل مؤشر نادر مخصص لبناء المؤشر النادر واتخاذ قرارات التوجيه، بينما تعمل وحدات معالجة الرسومات من 1 إلى 7 كعمال MLA مسؤولة عن المراحل التي تتطلب حسابات مكثفة، مع دمج الاتصال بشكل كامل في خط أنابيب مهام البلاط، مما يحقق تداخلًا عميقًا بين الحسابات والاتصال بين البطاقات. يتوفر هذا الخدمة عالية السرعة حاليًا لعملاء الشركات المختارين على منصة Zhipu MaaS. في المستقبل، ستعمل هذه التقنية على تحسين استنتاج FP8 وبيئات إنتاج السياق الطويل جدًا بشكل أكبر، وتوفير دعم أداء أكثر تحديدًا للسيناريوهات الحساسة للكمون المنخفض مثل برمجة الذكاء الاصطناعي، والتفاعل في الوقت الحقيقي، والصوت في الوقت الحقيقي.

ZHIPU26.55%

شاهد النسخة الأصلية

قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.

أعجبني
إعجاب
تعليق
إعادة النشر
مشاركة

تعليق

إضافة تعليق

لا توجد تعليقات

المواضيع الرائجة
عرض المزيد
#
TradfiTradingChallenge
322.32K درجة الشعبية
#
PlatinumCardCreatorExclusive
116.78K درجة الشعبية
#
IsraelStrikesIranBTCPlunges
49.03K درجة الشعبية
#
#DailyPolymarketHotspot
1.05M درجة الشعبية
#
GateSquarePizzaDay
650.62K درجة الشعبية

مُثبت

خريطة الموقع

زيبو تطلق واجهة برمجة التطبيقات عالية السرعة GLM-5.1، وتحقق رقم قياسي عالمي بسرعة 400 وحدة رمزية/ثانية

المواضيع الرائجة

TradfiTradingChallenge

PlatinumCardCreatorExclusive

IsraelStrikesIranBTCPlunges

#DailyPolymarketHotspot

GateSquarePizzaDay

مُثبت