昨年12月、NVIDIAはグロッグの推論チップ事業を買収するために$20 十億ドルを投じた。創業者のジョナサン・ロスと彼のコアチームはNVIDIAに移ったが、ここで重要なのは—グロッグは依然として独立して運営されていることだ。その後、今年3月のGTCで、サムスンの4nmプロセスを用いたグロッグ3 LPUチップを披露した。性能の数字はかなり驚くべきもので、兆パラメータモデルにおいて、NVIDIAのBlackwell NVL72と比べて1メガワットあたりの推論スループットが35倍も高い。

しかし、私の本当に注目を集めたのは、黄の市場のダイナミクスに関する説明だ。彼は推論市場がさまざまなセグメントに分かれてきていると語っている。何年も前から、皆が注目していたのは一つだけ—スループットを最大化することだった。でも、それが変わりつつある。トークン経済学が劇的に変化しているのだ。今や異なるユーザーは異なる応答速度を重視し、それに応じて支払う意欲も変わってきている。

黄は非常に明確に述べている：もし開発者により高速に応答するトークンを提供できれば、彼らの生産性は向上し、そのためにプレミアム価格を支払うだろうと。これは比較的新しい市場で、最近出現したものだ。これは本質的にパレートフロンティアを拡大している—低遅延で高トークン単価のセグメントを、既存の高スループットソリューションに追加している。

そこにグロッグのLPUアーキテクチャが登場する。これは決定論的な低遅延を実現するために設計されており、GPUが最適化しているものとはほぼ逆の性質だ。GPUはスループットにおいて圧倒的だ。だから、グロッグの買収はNVIDIAの製品戦略におけるギャップを埋めるものだ。同じモデルを二つの異なる方法で動かせる：GPUで最大スループットを追求するか、グロッグのLPUで超低遅延を実現するか。異なるユースケースに合わせた異なる価格モデルだ。

このグロッグのニュースは、AI推論市場が単なる生の計算能力を超えて成熟してきていることを本当に浮き彫りにしている。これは、異なる顧客が実際に何を必要としているのかを理解し、それぞれのセグメントに適したツールを構築することだ。なかなか賢い動きだと思う。

原文表示

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。