Google merilis panduan pelatihan pengembang TPU Ironwood generasi ketujuh, penjelasan lengkap tentang optimisasi kinerja tingkat sistem

Berita ME News, 2 April (UTC+8), Google baru-baru ini merilis panduan pengembangan untuk TPU Ironwood generasi ketujuh.
Panduan ini bertujuan membantu pengembang memanfaatkan kinerja sistem tingkat tinggi dari TPU Ironwood secara maksimal, untuk melatih dan menyebarkan model AI terdepan secara efisien.
TPU Ironwood dirancang sebagai infrastruktur AI kustom yang memenuhi kebutuhan komputasi model dengan triliunan parameter, yang membangun sistem lengkap dengan teknologi seperti interkoneksi antar chip (ICI), switch optik (OCS), jaringan pusat data (DCN), dan memori bandwidth tinggi terintegrasi (HBM).
Dokumen ini secara rinci memperkenalkan berbagai strategi optimisasi penting untuk perangkat keras ini, termasuk: memanfaatkan unit perkalian matriks (MXU) yang mendukung pelatihan FP8 secara native untuk meningkatkan throughput; menggunakan perpustakaan kernel JAX yang dioptimalkan khusus untuk TPU, Tokamax, yang memproses tensor tidak beraturan dalam model konteks panjang dan model pakar campuran melalui “perhatian cipratan” dan “perkalian matriks grup Megablox”; memanfaatkan SparseCore generasi keempat untuk mengalihkan operasi komunikasi kolektif guna menyembunyikan latensi; melakukan penyempurnaan distribusi SRAM (VMEM) di dalam chip TPU untuk mengurangi stagnasi memori; serta memilih strategi partisi terbaik (seperti FSDP, TP, EP) berdasarkan skala model, arsitektur, dan panjang urutan. (Sumber: InFoQ)