AIチップ競争はエネルギー効率重視へとシフトし、トークン/ワットが重要な指標となる。
バークレイズが8月31日付で発表したリサーチレポートによると、AIハードウェア競争の焦点は生の計算能力から電力効率へと移っており、トークン/ワットが主要な性能指標となっています。データセンターの電力制約を背景に、ハードウェアベンダーやハイパースケーラーは、限られた電力予算内でシステム性能を最大化することを迫られています。エヌビディアとCerebrasは、プレフィル処理とデコード処理の段階を分離する分割型推論アーキテクチャを採用しており、すべての処理段階を単一チップ上に統合するOpenAIのJalapenoのような方式と比べて、トークン/ワット効率をおよそ1桁高めています。
NVDA1.08%
GateNews·09-01 04:16




