産業革命の時代、石炭が安くなるほど、みんなが燃やす量も増えた。今のAI時代のトークンも同じだ

トークンが安くなればなるほど、AI製品はより多く燃やせる
以前は一言質問すれば、モデルが一言答えるだけだった
今はワンクリックで、エージェントがバックグラウンドでタスクを分解し、資料を調べ、ツールを調整し、コードを書き、エラーを修正し、要約し、一連の流れを実行する
だから、単一のトークンは安くなったが、一つのタスクで消費するトークンは非常に多くなる
これが請求額が増え続ける理由だ
蒸気機関がより省煤炭になった後も、イギリスは石炭をあまり使わなくならなかった。なぜなら、石炭がよりコストパフォーマンスが良くなり、より多くの機械や工場、鉄道が石炭を燃やし始めたからだ
トークンもこの論理と同じだ
安くなればなるほど、エージェント、ディープリサーチ、AIプログラミング、長いコンテキスト、企業の自動化が本格的に動き出す
だから、AIのコストセンターはトレーニングから推論へと移っている
トレーニングは一時的に燃やすだけだが、推論はずっと燃やし続ける。ユーザーがオンラインにいる限り、それは燃え続ける。エージェントが動いている限り、それも燃え続ける。コンテキストが長くなるほど、キャッシュも大きくなり、メモリ、帯域幅、電力、冷却も逼迫していく
これが、AI産業チェーンがGPUだけを見ることができない理由だ
HBM、DRAM、SSD、先進パッケージ、光モジュール、スイッチングチップ、CPU、推論チップも、この推論需要によって再価格設定される
AIアプリケーション企業も層を分けざるを得なくなる
インターフェース層だけを提供し、クローズドAPIに頼る企業は、ユーザーが増えるほど請求額が増え、利益率は薄くなる
真の障壁は下に沈み始める：ルーティング、クォンタイズ、キャッシュ、バッチ処理、コンテキストの裁断、小モデルが大モデルに取って代わる
うん、トークンはまさに石炭だ