Google 發布第八代 TPU 晶片 TPU 8t,面向大規模預訓練與嵌入密集工作負載

AIMPACT 消息,4 月 27 日(UTC+8),Google Cloud 發布第八代 TPU 晶片 TPU 8t,針對大規模預訓練和嵌入密集型工作負載進行最佳化。該晶片採用 3D 環面網路拓撲,單一超級運算叢集可擴展至 9600 個晶片。關鍵創新包括:SparseCore 專用加速器處理嵌入查找的稀疏記憶體存取模式;VPU/MXU 重疊與均衡縮放提升 FLOPs 利用率;原生 FP4 支援使 MXU 吞吐量翻倍,同時維持大模型精度。Virgo 網路架構提供高達 4 倍的資料中心網路頻寬,採用高基數交換器實現扁平兩層無阻塞拓撲。透過 JAX 和 Pathways,單一訓練叢集可擴展至超過 100 萬個 TPU 晶片;Virgo 網路可連接超過 13.4 萬個 TPU 8t 晶片,提供高達 47 Pb/s 的非阻塞雙向頻寬。TPU 8i 專為即時推理和後期訓練最佳化,兩者均整合 Arm-based Axion CPU 以消除主機瓶頸。這些系統是 Google Cloud AI 超級電腦的關鍵組件。(來源:InFoQ)
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆
  • 已置頂