هيكل MoE المتناثر، 25 مليار معلمة نشطة توفر في استهلاك الطاقة بشكل ملحوظ

شاهد النسخة الأصلية
CoinNetwork
Cohere مفتوح المصدر Command A+:نموذج كبير بمعاملات 218 مليار MoE، يركز على وكلاء المؤسسات وسيادة البيانات
كوهير رسميًا يطلق نموذج خلط الخبراء غير المتصل البالغ 218 مليار معلمة، باسم Command A+، مرخص بموجب رخصة أباتشي 2.0، موجه للمؤسسات وعمليات النشر الخاصة، مع التركيز على سيادة البيانات والعزل الفيزيائي. كامل النموذج 218 مليار، تنشيط الاستدلال الواحد 25 مليار؛ يمكن تشغيله على بطاقتي H100 أو بطاقة B200 واحدة، وتوفر منصة Hugging Face إصدارات منخفضة الدقة مثل W4A4. يتضمن Command A+ مدخلات متعددة الوسائط بشكل أصلي، مع سياق إدخال 128 ألف، وطول إخراج 64 ألف، موجه للمهام المعقدة مثل الاستدلال، واستدعاء الأدوات الذاتية، واستعلامات قواعد البيانات، وسير العمل على المستندات الطويلة، ويدعم 48 لغة (بما في ذلك اللغات الرسمية للاتحاد الأوروبي).
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت