Google công bố chi tiết kiến trúc mạng cấp khung máy của TPU 8 thế hệ 8t

robot
Đang tạo bản tóm tắt
AIMPACT Tin nhắn, ngày 16 tháng 5 (UTC+8), Google tiết lộ chi tiết kiến trúc của TPU 8 thế hệ (TPU 8t) kết nối dạng rack đến mạng Virgo.
Mạng này sử dụng switch có bậc cao và kiến trúc hai lớp không chặn phẳng, nâng cao băng thông mạng trung tâm dữ liệu gấp 4 lần so với thế hệ trước, một cấu trúc có thể kết nối hơn 134.000 chip TPU 8t, cung cấp băng thông hai chiều không chặn 47 Pb/s và hiệu năng mở rộng gần tuyến tính hơn 1.7K ExaFlops.
TPU 8t tự nó sử dụng kiến trúc vòng tròn 3D, một super pod có thể mở rộng đến 9600 chip, và hỗ trợ mở rộng qua JAX và Pathways lên hơn 1 triệu chip.
Các công nghệ chính bao gồm bộ tăng tốc SparseCore, chồng chéo và cân bằng mở rộng VPU/MXU, hỗ trợ gốc FP4, và tích hợp CPU dựa trên Arm Axion loại bỏ điểm nghẽn chủ.
Thiết kế này nhằm hướng tới sự tiến hóa của mô hình AI từ các mô hình ngôn ngữ lớn cường độ cao sang các mô hình hỗn hợp quy mô lớn và kiến trúc tập trung vào suy luận.
(Nguồn: InFoQ)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 10
  • 2
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
LiquidityTeaMaster
· 1giờ trước
Virgo mạng này đặt tên hay, cung Bạch Dương kiểu OCD không bị gián đoạn
Xem bản gốcTrả lời0
ZkSketcher
· 3giờ trước
Mở rộng gần tuyến tính đến 1.7K ExaFlops, định luật Amdahl có còn hiệu quả tại Google không?
Xem bản gốcTrả lời0
MevBreakRoom
· 3giờ trước
TPU 8t này mật độ băng thông hơi phi thường, 47 Pb/s là khái niệm gì vậy
Xem bản gốcTrả lời0
NonceNinja
· 3giờ trước
Từ JAX mở rộng đến hàng triệu chip, Pathways cuối cùng cũng sắp có đất diễn?
Xem bản gốcTrả lời0
MarginMoth
· 3giờ trước
Switch có số lượng lớn nghe có vẻ đắt, nhưng tiết kiệm module quang hơn so với Clos tầng ba.
Xem bản gốcTrả lời0
0xPeachy
· 3giờ trước
Xem xong chỉ muốn hỏi: Khi nào có thể săn được hạn mức dùng thử của TPU v6?
Xem bản gốcTrả lời0
SushiLatency
· 3giờ trước
Arm Axion CPU tích hợp vào, tính toán dị hướng ngày càng phong phú hơn
Xem bản gốcTrả lời0
Semi-MeltedIceCream
· 3giờ trước
VPU/MXU chồng chéo cân bằng, lập lịch phân mảnh tinh vi đạt đến mức này thực sự là cạnh tranh
Xem bản gốcTrả lời0
QuietExitPlan
· 3giờ trước
13.4 vạn chip một cấu trúc, làm thế nào để phân chia vùng lỗi là một vấn đề học thuật
Xem bản gốcTrả lời0
GlassDomeUniverse
· 3giờ trước
Kiến trúc chuyển đổi LLM tập trung thành MoE + suy luận, đợt này là dự đoán trước dự đoán của ngành
Xem bản gốcTrả lời0
Xem thêm