ميتوان تفتح بالتزامن كود استدلال LongCat-2.0 للبطاقات المحلية.

robot
إنشاء الملخص قيد التقدم
ذكرت أخبار Golden Finance في 9 يوليو أن نموذج LongCat-2.0، الذي يعد الأول من نوعه في الصناعة من حيث إكمال الاستدلال على مجموعة حوسبة محلية تتكون من 50 ألف بطاقة لنماذج تحتوي على تريليون معامل، قد تم فتح مصدره بالكامل. لمواجهة رقائق الحوسبة المحلية المحدودة في الذاكرة وعرض النطاق الترددي، قمنا بتحسين عميق منسق في بنية النموذج، وتكييف الرقائق، واستراتيجيات النشر، مما يسمح لنموذج تريليون المعامل بالعمل بثبات وسرعة على البطاقات الموجودة. فتح مصدر LongCat-2.0 هو إعلان عن مسار تقني، وأيضًا دعوة بيئية. يوفر هذا الإصدار المفتوح المصدر إصدارات متعددة الدقة مثل BF16 وFP8 وINT8، لتغطية احتياجات النشر على منصات الحوسبة المختلفة. في الوقت نفسه، نتبنى بعمق مجتمع المصادر المفتوحة، ونفتح مصدر نتائج الاستدلال المحسنة للغاية للحوسبة المحلية. وهذا يعني أنه حتى لو لم تكن تمتلك أحدث قدرات الحوسبة، يمكنك تشغيل LongCat-2.0 بثبات على الأجهزة الحالية. نأمل من خلال مجموعة الاستدلال الجاهزة هذه أن نتمكن من نشر خدمات الاستدلال لنماذج تريليون المعامل بسلاسة على المزيد من البطاقات المحلية بما في ذلك البطاقات القديمة، لتحقيق قيمة أكبر في سيناريوهات الإنتاج الحقيقية.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت