AI推論市場で興味深い出来事が起こり、話す価値があります。

NVIDIAはGroqを買収し、フアン・レンシュンがこの取引の論理を説明し始めたとき、それが単なる偶然ではないことが明らかになった。

それまでの焦点は一つだけだった：より多くのデータを同時に処理する方法、つまり帯域幅だった。
しかし、実際には市場が分裂していることが判明した。
一部のユーザーは、より速く応答を得るために高い価格を支払う準備ができている。
トークンの価格は高騰し、その生成時間には実際のコストが伴うようになった。
これが全体のゲームを変えている。

したがって、Groqはまさにこれに特化している — 低遅延に。
彼らのLPUアーキテクチャは、決定論的で予測可能な遅延を保証するように構築されている。
NVIDIAがGroqを買収したとき、彼らは実質的にポートフォリオの穴を埋めたことになる。
NVIDIAのGPUは帯域幅の王者のままだが、低遅延セグメントには別のアーキテクチャが必要だ。

新しいGroq 3 LPUチップは、4nm技術で製造された最初の製品だ。
NVIDIAの声明によると、大規模モデルでの効率は、同社のフラッグシップBlackwell NVL72の35倍を超えるという。
これは絶対的な速度の話ではなく、その速度に到達するために必要なパワーの量の話だ。

実質的には、異なるニーズに応じてさまざまなソリューションを提供できることを意味する。
最大の帯域幅を求めるならGPUがあり、
どんな価格でも高速な応答が必要ならGroqがある。
同じモデルでも、結果をどれだけ早く得たいかによってコストが変わる。
これは、インフェレンス市場で最適化できる範囲を拡大している。