وفقًا لمراقبة Dongcha Beating، قامت Meituan بفتح مصدر نموذج LongCat-2.0 الذي يحتوي على تريليون معلمة، والذي يبلغ إجمالي معلماته 1.6 تريليون ومتوسط التنشيط حوالي 48 مليارًا، وهو مصمم خصيصًا لمهام Agentic Coding الحقيقية. يقدم الهيكل بشكل مبتكر الانتباه المتفرق LongCat ودمج N-gram؛ حيث يقلل الأول من الوصول إلى الذاكرة المجزأة من خلال فهرسة إدراك الطلاقة والفهرسة الهرمية، مما يسرع التدريب والاستدلال للسياقات الطويلة التي تحتوي على ملايين الرموز المميزة. ويستثمر الأخير 135 مليار معلمة في طبقة التضمين مع الحفاظ على تفرق يقارب 97% في MoE، لتحقيق التوازن بين كفاءة المعلمات والاستقرار الهيكلي. يستخدم التدريب اللاحق تقطيرًا عبر الإنترنت متعدد المعلمين، وتصنيف الخبراء إلى ثلاثة أنواع: الوكيل والاستدلال والتفاعل، ويتم دمجها بسلاسة من خلال هيكل MOPD على مجموعات الحوسبة المحلية. وباعتباره أول نموذج بتريليون معلمة يكمل الاستدلال على مجموعة حوسبة محلية مكونة من 50,000 بطاقة، يؤكد LongCat-2.0 على القدرة الناضجة للرقائق المحلية على التعامل مع مهام النماذج الكبيرة المعقدة. ولمعالجة القيود المتعددة للرقائق المحلية من حيث الذاكرة وعرض النطاق الترددي والاتصال البيني، حققت Meituan اختراقات في ثلاثة مجالات: النموذج وتكييف الرقاقة والنشر. على مستوى النموذج، يستخدم ScMoE قدرات التحكم الأساسية للرقائق المحلية لتحقيق التوازي على مستوى النواة المادية بين فروع Dense وMoE، بالإضافة إلى تقسيم KV-cache لتخفيف ضغط الذاكرة للسياقات الطويلة جدًا. على مستوى تكييف الرقاقة، يقلل Super Kernel من حمل بدء التشغيل للمشغلين، ويخفي Weight Prefetch زمن وصول الإدخال/الإخراج، مما يزيد من استخدام الأجهزة تحت الظروف المقيدة. على مستوى النشر، يفصل PD بين TTFT وTPOT، إلى جانب موازنة التحميل غير المتزامنة Expert-Parallel لمعالجة الأحمال غير المتساوية تحت درجات EP العالية. يوفر هذا الإصدار مفتوح المصدر أيضًا إصدارات متعددة الدقة مثل BF16 وFP8 وINT8، ويهدف إلى فتح نتائج الاستدلال المحسنة للقدرة الحاسوبية المحلية بالكامل، بهدف نشر سلس لخدمات استدلال النماذج ذات التريليون معلمة حتى على البطاقات المحلية الحالية والأقدم.

شاهد النسخة الأصلية

قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.

أعجبني
إعجاب
تعليق
إعادة النشر
مشاركة

تعليق

إضافة تعليق

لا توجد تعليقات

المواضيع الرائجة
عرض المزيد
#
GTBurns2.57MInQ
169.42K درجة الشعبية
#
PredictWorldCupShare20000U
262.47K درجة الشعبية
#
IsraelStrikesIranBTCPlunges
69.38K درجة الشعبية
#
VitalikUnveilsLeanEthereum
158.84K درجة الشعبية
#
gStocksTokenizedStocksLive
4.87M درجة الشعبية

مُثبت

خريطة الموقع

ميتوان تفتح مصدر نموذج LongCat-2.0 ذو التريليون معلمة، وتطلق رمز الاستدلال للرقاقات الصينية المحلية

المواضيع الرائجة

GTBurns2.57MInQ

PredictWorldCupShare20000U

IsraelStrikesIranBTCPlunges

VitalikUnveilsLeanEthereum

gStocksTokenizedStocksLive

مُثبت