كيمني هذه الموجة من فك الارتباط عبر مراكز البيانات تلعب بشكل كبير، وإذا تمكنت من تقليل تكلفة الاستدلال حقًا، فخدمات استدعاء النماذج الكبيرة في المستقبل ستصبح أرخص بشكل كبير

شاهد النسخة الأصلية
MeNews
Moonshot AI يوسع تقنية فصل التحميل المسبق/التحويل إلى مراكز بيانات متعددة وأجهزة غير متجانسة
أخبار ME، 18 أبريل (بتوقيت UTC+8)، أعلنت فريق Moonshot AI مؤخرًا أن تقنية فصل وظيفة التهيئة المسبقة (Prefill) وفك التشفير (Decode) قد تم توسيعها بنجاح من مجموعة واحدة إلى بيئات مراكز بيانات متعددة وبيئات أجهزة غير متجانسة. ووفقًا للرأي الوارد في المقال، من المتوقع أن يساهم هذا الإجراء بشكل كبير في تقليل تكلفة الاستدلال لكل رمز. سابقًا، كانت توسعة هذه التقنية تعرقلها مشكلة استهلاك النطاق الترددي لتوصيل ذاكرة التخزين المؤقت KV. ويعتمد هذا الإنجاز على نجاح نموذجها المختلط Kimi.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت