xAIは約55万台の$NVDA H100およびH200 GPUを保有していると報告されているが、そのうち約11％しか使用しておらず、実質的に約60,000台のGPUが効果的に利用されている

The Informationによると、主要な問題はハードウェアの可用性ではなく、ソフトウェアスタックの効率性である。大規模になるほど、分散トレーニング、データパイプライン、スケジューリング、分析システムの調整が難しくなるため、アイドル時間が急速に増加する
$META および$GOOG は、内部のソフトウェアスタックがより成熟しているため、約43％と46％のはるかに良い利用率を達成していると報告されている
xAIの目標は50％の利用率に到達することであるが、具体的なタイムラインは示されていない。今後の主な道筋は、インフラのオーケストレーションの改善、トレーニングソフトウェア、データパイプラインの最適化、作業負荷管理である