Google merilis panduan pelatihan pengembang TPU Ironwood generasi ketujuh, penjelasan lengkap tentang optimisasi kinerja tingkat sistem

Berita ME News, 2 April (UTC+8), Google baru-baru ini merilis panduan pengembangan untuk TPU Ironwood generasi ketujuh. Panduan ini bertujuan membantu pengembang memanfaatkan secara maksimal kinerja sistem TPU Ironwood, agar dapat melatih dan men-deploy model AI terdepan secara efisien. TPU Ironwood dirancang sebagai infrastruktur AI kustom yang memenuhi kebutuhan komputasi model dengan triliunan parameter, yang membangun sistem lengkap dengan teknologi seperti interkoneksi antar chip (ICI), switch optik (OCS), jaringan pusat data (DCN), dan memori bandwidth tinggi terintegrasi (HBM), mendukung hingga 9.216 chip. Artikel ini secara rinci memperkenalkan berbagai strategi optimisasi penting untuk perangkat keras ini, termasuk: memanfaatkan unit perkalian matriks (MXU) yang mendukung pelatihan FP8 secara native untuk meningkatkan throughput; menggunakan perpustakaan kernel JAX yang dioptimalkan khusus untuk TPU, Tokamax, yang memproses tensor tidak beraturan dalam model konteks panjang dan model ahli campuran melalui “perhatian cipratan” dan “perkalian matriks grup Megablox”; memanfaatkan core jarang (SparseCore) generasi keempat untuk mengalihkan operasi komunikasi kolektif guna menyembunyikan latensi; mengoptimalkan alokasi SRAM cepat TPU (VMEM) secara rinci untuk mengurangi stagnasi memori; serta memilih strategi partisi terbaik (seperti FSDP, TP, EP) berdasarkan skala model, arsitektur, dan panjang urutan. (Sumber: InFoQ)