今、企業のGPU容量の95%が使われずに座っている。
その数字は、一般的な調査ではなく、Cast AIが23,000の実際の運用クラスターを測定した結果から得られたものだ。
平均利用率は5%であり、NvidiaがH200の価格を15%引き上げたちょうどその瞬間に起こっている。これは20年ぶりの初めての値上げだ。誰もが不足していると言うハードウェアのほとんどは、ほとんど何もしていない。
もし、なぜ計算資源を入手するのが難しいと感じるのかを理解しようとしているなら、これがその理由だ。誰も数ヶ月待った割り当てを返さない。だから、フリートは5%のままで、時間単位で請求され、希少性が自己増殖している。これは供給の失敗ではなく、調整の失敗のようだ。
原文表示