Googleは第8世代TPU 8tのラックレベルネットワークアーキテクチャの詳細を発表しました

robot
概要作成中
AIMPACT メッセージ、5 月 16 日(UTC+8)、Google は第八世代 TPU(TPU 8t)のラックレベル接続と Virgo ネットワークのアーキテクチャの詳細を公開しました。
このネットワークは高基数スイッチとフラットな二層ノンブロッキングトポロジーを採用し、データセンターネットワークの帯域幅を前世代の4倍に引き上げ、単一構造で13.4万以上の TPU 8t チップを接続可能とし、47 Pb/s のノンブロッキング双方向帯域幅と1.7K ExaFlops を超えるほぼ線形スケーリング性能を提供します。
TPU 8t 自体は3D環状トポロジーを採用し、単一のスーパーキャビティは9600チップに拡張可能で、JAX と Pathways を通じて100万以上のチップに拡張可能です。
主要技術には SparseCore アクセラレータ、VPU/MXU のオーバーラップとバランススケーリング、ネイティブ FP4 サポート、Arm ベースの Axion CPU の統合によるホストボトルネックの排除が含まれます。
この設計は、AIモデルが密集した大規模言語モデルから大規模ハイブリッドエキスパートモデルや推論集約型アーキテクチャへと進化することを見据えています。(出典:InFoQ)
GOOGLX0.51%
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 5
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
L2LunchBoy
· 6時間前
FP4 精度訓練は安定しますか、それとも推論専用ですか?
原文表示返信0
NeonIceMelt
· 6時間前
13.4万チップ単一構造、故障ドメインの切り分けは一つの学問だ
原文表示返信0
LatencyLullaby
· 7時間前
SparseCore と FP4 のネイティブサポート、Googleは推論コストを徹底的に圧縮しているね
原文表示返信0
GateUser-ebdc7d3a
· 7時間前
シングルスーパーキャノピー 9600チップ、この密度の放熱はどうやって行っているのか非常に気になります
原文表示返信0
ByteBard
· 7時間前
Arm Axion CPU を統合し、異種計算の腕前がますます上達している
原文表示返信0