حقق كل من Sakana AI وNvidia سرعة استدلال على H100 أسرع بنسبة 30% عبر تخطي 80% من عمليات الحوسبة غير الصحيحة
قامت Sakana AI وNvidia بإتاحة TwELL كمصدر مفتوح، وهو تنسيق بيانات متفرق يتيح لوحدات GPU من نوع H100 تخطي 80% من الحسابات غير الصالحة في النماذج اللغوية الكبيرة دون المساس بالدقة. يقدّم الحل ما يصل إلى 30% تسريعاً في الاستدلال و24% تسريعاً في التدريب على وحدات H100، مع تقليل استهلاك الذاكرة القصوى. وفي الاختبارات على نموذج من 1.5 مليار معامل، خفّضت المقاربة عدد العصبونات النشطة إلى أقل من 2% عبر تنظيم خفيف أثناء التدريب، دون أي تراجع في الأداء عبر سبع مهام لاحقة.
GateNews·05-10 04:45
