人民财讯3月31日電、中信証券のリサーチノートによると、AIは「単純な対話」から「エージェント(Agent)」へ進化し、コンテキストの長さが急増しているという。Epoch AIのデータによれば、最長のコンテキストウィンドウは年あたり約30倍のペースで拡大しており、KV Cacheのメモリ(VRAM)容量とコンテキストの長さには線形の関係がある。これは、ハードウェアの設定増速を大幅に上回っている。現在、大規模言語モデル企業やハードウェア企業は、主に量子化、階層型ストレージ、モデル・アーキテクチャ最適化といった手法で計算機資源(ストレージ/メモリ)能力のボトルネックを解消しようとしているが、それでもなおVRAM需要の爆発は変わらない。中信証券は、VRAM最適化によって1トークン生成コストを引き下げ、それによりユーザーがより高い並列度とより長いコンテキストを開始することを促し、総計算機資源需要は減るどころかむしろ増えると見ている。計算機資源のアップグレードは、現在のAgent推論の中核となる必要であり、ストレージの成長トレンドを強く見込んでいる。
中信証券:記憶力の向上は現在のインテリジェントエージェント推論の核心ニーズであり、記憶の成長傾向を堅く支持しています
人民财讯3月31日電、中信証券のリサーチノートによると、AIは「単純な対話」から「エージェント(Agent)」へ進化し、コンテキストの長さが急増しているという。Epoch AIのデータによれば、最長のコンテキストウィンドウは年あたり約30倍のペースで拡大しており、KV Cacheのメモリ(VRAM)容量とコンテキストの長さには線形の関係がある。これは、ハードウェアの設定増速を大幅に上回っている。現在、大規模言語モデル企業やハードウェア企業は、主に量子化、階層型ストレージ、モデル・アーキテクチャ最適化といった手法で計算機資源(ストレージ/メモリ)能力のボトルネックを解消しようとしているが、それでもなおVRAM需要の爆発は変わらない。中信証券は、VRAM最適化によって1トークン生成コストを引き下げ、それによりユーザーがより高い並列度とより長いコンテキストを開始することを促し、総計算機資源需要は減るどころかむしろ増えると見ている。計算機資源のアップグレードは、現在のAgent推論の中核となる必要であり、ストレージの成長トレンドを強く見込んでいる。