なぜSRAMの要求は突然爆発的に膨らんだのでしょうか? この作戦の波を見てください。

しばらく前、主要なAIチップメーカーがテクノロジー大手の株式を公開した直後、同社はチップイノベーション企業の買収を発表しました。 この幸運は今も強さであり、よく見れば答えがわかるでしょう。

この会社の中核的な強みは何ですか? 従来のGPUが外部高帯域幅メモリ(HBM)に依存するのに対し、彼らのLPUプロセッサはオンチップ統合型高容量静的ランダムアクセスメモリ(SRAM)という設計理念を採用しています。 この230MBのオンチップSRAMは最大80TB/sのメモリ帯域幅を提供できますが、この数字の意味は何ですか? データ処理速度は従来のGPUソリューションを直接的に凌駕します。

実際の性能はどうですか? 彼らのクラウドサービスは驚異的な推論速度で知られています。 MixtralやLlama 2のようなオープンソースの大規模モデルを実行する場合、約500トークンを毎秒出力できますが、これは従来のサービスの応答速度と比べると桁違いではありません。 価格も競争力があり、100万トークンあたりのコストも非常にコスト効率的です。

なぜ今これがそんなに重要なのでしょうか? AI分野全体で重要な変化が起きているため、推論の必要性がトレーニングの必要性を完全に上回るようになっています。 この時代において、LPUの革新的なアーキテクチャを通じて効率的で低コストかつ真に拡張可能な推論インフラを提供することが市場に本当に欠けているのです。 あるチップ会社のトップは、この低レイテンシプロセッサを自社のAIファクトリーアーキテクチャに統合し、より幅広いAI推論やリアルタイムワークロードに対応することを目標にしていることを明言しました。