Googleは第8世代TPU 8tのラックレベルネットワークアーキテクチャの詳細を発表しました

robot
概要作成中
AIMPACT メッセージ、5 月 16 日(UTC+8)、Google は第八世代 TPU(TPU 8t)のラックレベル接続と Virgo ネットワークのアーキテクチャの詳細を公開しました。
このネットワークは高基数スイッチとフラットな二層ノンブロッキングトポロジーを採用し、データセンターネットワークの帯域幅を前世代の4倍に引き上げ、単一構造で13.4万以上の TPU 8t チップを接続可能とし、47 Pb/s のノンブロッキング双方向帯域幅と1.7K ExaFlops を超えるほぼ線形スケーリング性能を提供します。
TPU 8t 自体は3D環状トポロジーを採用し、単一のスーパーキャビティは9600個のチップに拡張可能で、JAX と Pathways を通じて100万以上のチップに拡張可能です。
主要技術には SparseCore 加速器、VPU/MXU のオーバーラップとバランススケーリング、ネイティブ FP4 サポート、Arm ベースの Axion CPU 統合によるホストボトルネックの排除が含まれます。
この設計は、AIモデルが密集した大規模言語モデルから大規模ハイブリッドエキスパートモデルや推論集約型アーキテクチャへと進化することを見据えています。(出典:InFoQ)
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 11
  • 3
  • 共有
コメント
コメントを追加
コメントを追加
GateUser-8df0eb2b
· 3時間前
単一のスーパーキャノピー9600チップは、100万レベルに拡張可能であり、その規模は昨年では想像もできなかっただろう。
原文表示返信0
PerpNightwatch
· 4時間前
ネイティブFP4サポートにより、メモリと帯域幅の負荷がかなり軽減され、推論コストも下がった。
原文表示返信0
GateUser-14cb5f72
· 4時間前
1.7K ExaFlops近似線形スケーリング、この数字はまるでサイエンスフィクションのようだ
原文表示返信0
TheNemesisOfFomo
· 4時間前
Pathways+JAXのエコシステムの結びつきがますます深まり、Googleは自分たちの堀を築いている
原文表示返信0
OpcodePoet
· 4時間前
高基数スイッチのフラットトポロジー、この設計思想でデータセンターは模倣できるのか
原文表示返信0
ChillBlock
· 5時間前
密集LLMからMoE+推論アーキテクチャへの移行、業界の風向きが変わる
原文表示返信0
Don'tCallMeABagHolder.
· 5時間前
TPU 8tの命名、次世代は9t、10tと呼ばれるのか、直接NVIDIAの進化ペースに合わせているのか
原文表示返信0
StardustUnderTheGlassDome
· 5時間前
チップ間接続の帯域幅が4倍に向上し、通信のボトルネックが緩和されたことで、大規模モデルの並列処理効率が向上できる
原文表示返信0
RedGlass
· 5時間前
百万チップクラスターの故障率はどうやって管理するのか、彼らのフォールトトレランス機構に興味があります
原文表示返信0
ShortPositionsAtTheElevator
· 5時間前
SparseCoreとVPU/MXUの重複設計は非常に面白く、MoEアーキテクチャへの道を開いていると感じます
原文表示返信0
もっと見る