Gartner：到2030年在大型言語モデルで推論を行う費用は90%以上削減される

Gartnerによれば、2030年までに、1兆パラメータ級の大規模言語モデル（LLM）で推論を行うコストは2025年より90%以上下がる見込みであり、これにより生成AI（GenAI）提供事業者は大幅なコスト削減を実現できるという。

AIトークンは、生成AIモデルが処理するデータ単位である。本分析では、1トークンはデータ3.5バイトに相当し、約4文字となる。

Gartnerのシニアアナリスト、Will Sommer氏は次のように述べた：「こうしたコスト低下は、半導体とインフラ効率の向上、モデル設計の革新、チップの稼働率の向上、特定用途向けの専用推論チップのより一層の活用、そしてエッジデバイスが特定のシナリオで使われることなど、複数の要因によってもたらされる。」

これらのトレンドの影響により、Gartnerは2030年までに、大規模言語モデルの費用対効果が、2022年に開発された同規模の初期モデルに比べて最大100倍高まると予測している。

予測モデルの結果は、2つの半導体シナリオに分けられる。

最先端シナリオ：モデルが処理するのは、最先端チップに基づくシミュレーションデータ。

従来のハイブリッドシナリオ：モデルが処理するのは、既存半導体の典型的な組み合わせであり、その組み合わせはGartnerコンサルティング社の予測データを参照して評価される。

「ハイブリッド」予測シナリオで算出されたコストは、「最先端」シナリオよりも明らかに高い。

汎用AI推論コストの予測シナリオ

コスト低下によって最先端のインテリジェンス技術が普及するわけではない

しかし、生成AIサービス提供事業者のトークン価格の下落が、企業顧客に完全に転嫁されるわけではない。さらに、最先端のインテリジェンスアプリケーションに必要なトークン数は、現在主流となっているアプリケーションをはるかに上回る。たとえば、エージェントモデルが各タスクを完了するのに必要なトークン数は、標準的な生成AIチャットボットの5〜30倍であり、かつ、人間が生成AIを使って行うよりも多くのタスクを実行できる。

より低いトークン単価によって、より高度な生成AIがより強力な能力を持てるようになる一方で、これらの進歩はトークン需要を大幅に押し上げることになる。トークンの消費速度はトークンコストの低下速度より速いため、総合的な推論コストは上昇すると見込まれる。

Sommer氏は次のように述べた：「プロダクトの責任者（CMO）は、商品化されたトークンの値下がりと、最先端推論の民主化を混同すべきではない。商品化されたインテリジェンス技術のコストがゼロに近づいても、高度な推論を支えるための計算資源とシステムは依然として非常に限られている。いま安価なトークンでアーキテクチャの非効率を覆い隠しているCMOたちは、明日になって自律性の規模拡大を実現するのが難しくなるだろう。」

さまざまなモデルにまたがってワークロードを調整して処理できるプラットフォームは価値を得ることになる。通常的で高頻度のタスクは、コストが汎用ソリューションのわずかな一部で済む状況で、特定の業務フローをより良い性能で実行できる、より効率的で特定領域向けの言語モデルに割り当てる必要がある。最先端レベルのモデルによる高コストな推論は厳しく制限し、そして高い利益が見込める、複雑な推論のタスクに専用化する必要がある。