بطاقة GPU عامة تشغل 1 تيرابايت من MoE وتكسر حاجز الألف توكن، هذا التصميم التعاوني لديه شيء مميز

موقع بي جيه وي نيوز، أعلنت فريق ميوميو من شركة شاومي مع مجموعة نظام تحسين الترجمة بالذكاء الاصطناعي تيلرت عن إطلاق وضع استدلال Mimo-v2.5-pro-ultraspeed. على عقدة GPU عامة قياسية مكونة من 8 بطاقات، تم تحقيق سرعة توليد تتجاوز 1000 رمز/ثانية على نموذج خلط الخبراء (MoE) الذي يحتوي على 1 تريليون معلمة، مع ذروة تصل إلى حوالي 1200 رمز/ثانية. هذا يمثل أول اختراق في سرعة توليد 1000 رمز/ثانية لنموذج يتجاوز تريليون معلمة، باستخدام أجهزة عامة قياسية وتصميم منسق بين النموذج والنظام، دون الحاجة إلى استخدام شرائح مدمجة على مستوى الرقاقة أو شرائح SRAM مخصصة.