xAI memiliki 500.000 GPU tetapi tingkat penggunaannya hanya 11%

Berita dari CoinWorld, xAI milik Elon Musk memiliki sekitar 500.000 GPU Nvidia, yang termasuk salah satu kluster terbesar di antara pengembang AI dalam data publik. Tetapi memo internal menunjukkan bahwa MFU (pemanfaatan flops model, ukuran proporsi output daya komputasi chip aktual terhadap puncaknya secara teori) xAI dalam beberapa minggu terakhir hanya sekitar 11%. Seorang peneliti dari laboratorium pesaing mengatakan bahwa kebanyakan perusahaan sulit mencapai 40%, tetapi 11% adalah “sangat rendah”. Rendahnya tingkat pemanfaatan adalah masalah umum di industri, pelatihan AI bersifat intermiten: GPU bekerja penuh saat pelatihan, tetapi saat peneliti menganalisis hasil dan memutuskan langkah selanjutnya, chip menjadi tidak aktif. Ada juga hambatan dari sisi perangkat keras: kecepatan memori bandwidth tinggi (HBM) tidak mampu mengikuti kecepatan chip komputasi, dan saat data ditransfer antar ribuan GPU, setiap kelemahan jaringan dapat memperlambat seluruh kluster. Di industri juga terdapat fenomena “mengulang data”, seorang peneliti dari laboratorium besar mengungkapkan bahwa rekan kerjanya sering menjalankan ulang eksperimen pelatihan untuk meningkatkan angka pemanfaatan, agar tidak mendapatkan kritik dari atasan, dan juga untuk mencegah GPU yang tidak digunakan dialihkan ke tim lain.