Moonshot AI يوسع تقنية فصل مسبق التعبئة/فك الترميز لتشمل عبر مراكز البيانات والأجهزة غير المتجانسة

أخبار ME، 18 أبريل (بتوقيت UTC+8)، أعلنت فريق Moonshot AI مؤخرًا أن تقنية فصل وظيفة التهيئة المسبقة (Prefill) وفك التشفير (Decode) قد تم توسيعها بنجاح من مجموعة واحدة إلى بيئات مراكز بيانات متعددة وبيئات أجهزة غير متجانسة. وفقًا للمقال، من المتوقع أن يقلل هذا الإجراء بشكل كبير من تكلفة الاستدلال لكل رمز. سابقًا، كانت توسعة هذه التقنية معوقة بسبب مشكلة استهلاك نقل ذاكرة التخزين المؤقت KV. يعتمد هذا الإنجاز على نموذجها المختلط Kimi Linear. (المصدر: InFoQ)