今年、AIコンピュートに静かな反転が起き、それが実際の構築の目的を変えている。

2023年には、AIコンピュートの3分の2がトレーニング、つまりモデルを構築する実際の作業に使われていた。残りの小さな部分は推論、つまり構築後に実際にモデルを実行する作業に充てられていた。しかし、その比率は静かに逆転し始めた。
Deloitteによると、推論は現在3分の2を占め、さらに上昇しており、それを実行するために構築されたチップは今年$50B を超えた。
この反転が重要な主な理由（パーセンテージの問題ではない）は、トレーニングと推論は異なる性質を持つということだ。トレーニングはバースト的に発生し、1つの巨大なクラスターで行われ、その後終了する。推論は決して止まらない。誰かがプロンプトを送信したり、エージェントが一歩を踏み出すたびに実行され、ユーザーを追加するたびにスケールする。一方は建設プロジェクトであり、もう一方は永遠に増え続ける公共料金のようなものだ。
AIインフラに関するあらゆる前提はトレーニングを中心に構築されていた。なぜなら、そこにお金が流れていたからだ。そのお金は今、単一のクラスターに置く必要のないワークロードに移動したのだ。