Sakana AI تتعاون مع NVIDIA: تمكين وحدات معالجة الرسومات من تجاوز 80% من الحسابات غير الفعالة للنماذج الكبيرة، وتسريع استنتاج H100 بنسبة 30%

وفقًا لمراقبة Beating، قامت شركة Sakana AI بالتعاون مع NVIDIA بفتح مصدر تنسيق البيانات المتناثر TwELL ونواة التسريع المصاحبة، مما نجح في جعل وحدة معالجة الرسومات تتجاوز تلك الحسابات غير الفعالة «النتائج قريبة من الصفر» أثناء تشغيل النماذج الكبيرة. هذه الخطة، دون فقدان دقة النموذج، أدت إلى زيادة سرعة استنتاج H100 بنسبة تصل إلى 30%، وتسريع التدريب بنسبة تصل إلى 24%، وتوفير كبير في الذاكرة المؤقتة القصوى. الطبقة الأمامية للنموذج الكبير (FFN) تستهلك معظم المعلمات والقدرات الحسابية. لكن في الواقع، عند توليد النصوص، يوجد أكثر من 80% من الخلايا العصبية في حالة «سبات» (القيمة التنشيطية قريبة من الصفر)، ولا تساهم في النتيجة النهائية. إذا أمكن تخطي هذه الخلايا العصبية، فسيتم توفير قدر هائل من القدرة الحسابية. ومع ذلك، فإن وحدات معالجة الرسومات الحديثة بطبيعتها تتخصص في حساب المصفوفات الكثيفة المنتظمة، وإذا استخدمنا الطرق التقليدية لاختيار البيانات المفيدة المنتشرة، فإن تكلفة البحث والقراءة ذهابًا وإيابًا عن البيانات ستستهلك كل القدرة التي تم توفيرها. تنسيق TwELL هو بالضبط لكسر هذا السحر الصلب للأجهزة. إنه مصمم تمامًا وفقًا لمنطق التوازي لوحدة معالجة الرسومات: لا يعيد تجميع البيانات غير الصفرية عبر المناطق كما في الطرق التقليدية، بل يقسم البيانات إلى مربعات صغيرة (القطع) التي تتخصص وحدة معالجة الرسومات في معالجتها. بهذه الطريقة، يمكن لنوى الحوسبة المحلية على وحدة معالجة الرسومات حزم البيانات المفيدة مباشرة، مما يلغي تمامًا عمليات القراءة والكتابة البطيئة للذاكرة المؤقتة العالمية، ويتكامل بشكل مثالي مع خط أنابيب التسريع في الشرائح الحديثة. في اختبار على نموذج يحتوي على 1.5 مليار معلمة، يكفي إضافة بعض التنظيم البسيط أثناء التدريب لخفض نسبة الخلايا العصبية التي تحتاج إلى حساب فعلي إلى أقل من 2%، ولم تتراجع أداء المهام السبع الفرعية. كما كشفت البيانات عن قاعدة: كلما زاد حجم المعلمات في النموذج، زادت الخلايا العصبية في حالة السبات (نسبة غير صفرية أقل بنسبة 38% في نموذج بـ 2 مليار معلمة مقارنة بنموذج بـ 500 مليون). هذا يعني أنه في المستقبل، عند السعي لبناء نماذج أكبر، ستوفر هذه التحسينات الموجهة للأجهزة الأساسية فوائد أداء ملحوظة.