Moonshot AI يوسع تقنية فصل التهيئة/الديكود إلى مراكز بيانات متعددة وعتاد غير متطابق

أخبار ME، 18 أبريل (بتوقيت UTC+8)، أعلنت فريق Moonshot AI مؤخرًا أن تقنية الفصل بين التهيئة المسبقة (Prefill) والديكود (Decode) قد تم توسيعها بنجاح من مجموعة واحدة إلى بيئات مراكز بيانات متعددة وبيئات أجهزة غير متجانسة. وفقًا للمقال، من المتوقع أن يقلل هذا الإجراء بشكل كبير من تكلفة الاستدلال لكل رمز. سابقًا، كانت توسعة هذه التقنية معوقة بسبب مشكلة استهلاك النفقات لنقل ذاكرة التخزين المؤقت KV. يعتمد تحقيق هذا الاختراق على نموذجها المختلط Kimi Linear. (المصدر: InFoQ)
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 3
  • 1
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
PublicBlockchainUnderTheAurora
· منذ 16 س
أتساءل كيف يتم التعامل مع زمن الاستجابة عبر مراكز البيانات، لم يتم ذكر التفاصيل في النص.
شاهد النسخة الأصليةرد0
ExitLiquidityIntern
· منذ 16 س
يبدو أن بنية النموذج المختلط هي المتغير الرئيسي، في انتظار التفاصيل التقنية الدقيقة
شاهد النسخة الأصليةرد0
GateUser-c1cab702
· منذ 16 س
من مجموعة واحدة إلى عدة مراكز بيانات، فكر فقط في مدى تعقيد هذا المشروع ليصبح مرهقًا
شاهد النسخة الأصليةرد0
  • مُثبت