أطلقت جوجل الدليل التدريبي للمطورين للجيل السابع من معالج Ironwood TPU، مع شرح مفصل لتحسين الأداء على مستوى النظام

أخبار ME News، في 2 أبريل (بتوقيت UTC+8)، أصدرت جوجل مؤخرًا دليل تدريب للمطورين موجه إلى معالج Ironwood TPU من الجيل السابع. يهدف هذا الدليل إلى مساعدة المطورين على الاستفادة الكاملة من الأداء على مستوى النظام لـ Ironwood TPU، من أجل تدريب ونشر نماذج الذكاء الاصطناعي المتقدمة بكفاءة. تم تصميم Ironwood TPU لتلبية احتياجات حسابات النماذج ذات المليارات من المعاملات، وهو بنية أساسية مخصصة للذكاء الاصطناعي، حيث يستخدم تقنيات مثل الاتصال بين الرقائق (ICI)، ومفاتيح التبديل الضوئية (OCS)، وشبكة مراكز البيانات (DCN)، وذاكرة عالية النطاق الترددي المجمعة (HBM)، لبناء نظام كامل يدعم حتى 9,216 رقاقة. يشرح المقال بالتفصيل العديد من استراتيجيات التحسين الرئيسية لهذا الجهاز، بما في ذلك: الاستفادة من وحدة الضرب المصفوفي (MXU) لدعم تدريب FP8 بشكل أصلي لزيادة الإنتاجية؛ اعتماد مكتبة نوى JAX المصممة خصيصًا لـ TPU، Tokamax، لمعالجة النصوص الطويلة والنماذج المختلطة باستخدام “الانتباه المتطاير” و"مصفوفة المجموعات Megablox"؛ استخدام النواة النادرة من الجيل الرابع (SparseCore) لتحميل عمليات الاتصال الجماعي لإخفاء التأخير؛ تحسين تخصيص ذاكرة SRAM السريعة على الرقاقة (VMEM) بدقة لتقليل توقف الذاكرة؛ واختيار استراتيجية التقسيم المثلى (مثل FSDP، TP، EP) بناءً على حجم النموذج، والهندسة المعمارية، وطول السلسلة. (المصدر: InFoQ)