AIコンピュートが経済的に有用であり続ける期間を、私たちは大幅に過小評価しているのかもしれない。
6年前の8基のA100システムは、現在でも75,000~85,000ドルで売られており、元の価格である約~$199K priceの約40%に相当する。AIインフラの貸し手は、残存価値を25%近くと見積もっているようだ。
この誤りは、古いGPUを古いスマートフォンのように扱っていることかもしれない。
次世代製品が発売されても、A100が役に立たなくなるわけではない。プロバイダーはソフトウェア更新によって性能を下げて運用できる。ただ格下げされるだけだ。
最先端のトレーニングは先へ進む一方で、同じコンピュート資源が推論、ファインチューニング、バッチジョブ、より安価な地域向けキャパシティへと再利用される。
Microsoftは、会計上の耐用年数が6年であるのに対し、V100を8.4年間稼働させた。Sproutは13か月で11,664基のGPUを移動させた。
GPUにはかなり長いキャリアラダーがあるように見えてきた、笑。
今日の最先端ハードウェアは、明日には安価な推論用フリートとなり、その後もおそらく何年も収益を生み続ける。