أطلقت جوجل الدليل التدريبي للمطورين للجيل السابع من معالج Ironwood TPU، مع شرح مفصل لتحسين الأداء على مستوى النظام

أخبار ME: في 2 أبريل (UTC+8)، نشرت Google مؤخرًا دليل تدريب للمطورين موجّهًا إلى الجيل السابع من Ironwood TPU. يهدف هذا الدليل إلى مساعدة المطورين على الاستفادة الكاملة من الأداء على مستوى النظام لميزات Ironwood TPU، من أجل تدريب ونشر نماذج ذكاء اصطناعي رائدة بكفاءة. تم تصميم Ironwood TPU كبنية تحتية للذكاء الاصطناعي مخصصة لتلبية احتياجات قدرات الحوسبة للأحمال الخاصة بالمعايير ذات التريليونات من المعلمات؛ إذ يستخدم تقنيات مثل الترابط بين الشرائح (ICI)، ومبدلات مسار الضوء (OCS)، وشبكات مراكز البيانات (DCN)، وذاكرة عالية النطاق الترددي مجمّعة (HBM)، لبناء نظام كامل يدعم ما يصل إلى 9,216 شريحة. يشرح النص بالتفصيل عدة استراتيجيات تحسين رئيسية لهذا العتاد، بما في ذلك: استخدام وحدات الضرب المصفوفي (MXU) التي تدعم تدريب FP8 أصليًا لرفع معدل الإنتاجية؛ واعتماد مكتبة نواة JAX مُحسّنة خصيصًا لوحدات TPU مثل Tokamax، من خلال “انتباه الانبثاق” و"Megablox لتقسيم المصفوفات المجمّعة" لمعالجة التلافيف غير المنتظمة في نماذج السياقات الطويلة والنماذج الهجينة للخبراء؛ والاستفادة من الجيل الرابع من النوى المتفرّقة (SparseCore) لتحميل عمليات الاتصالات الجماعية جانبًا لإخفاء التأخير؛ وإجراء ضبط دقيق لتخصيص ذاكرة SRAM السريعة داخل شريحة TPU (VMEM) لتقليل ركود الذاكرة؛ وكذلك اختيار أفضل استراتيجية للتقسيم (مثل FSDP وTP وEP) وفقًا لحجم النموذج والبنية وطول التسلسل. (المصدر: InFoQ)