Google công bố chi tiết kiến trúc mạng cấp khung máy của TPU 8 thế hệ 8t

robot
Đang tạo bản tóm tắt
AIMPACT Tin nhắn, ngày 16 tháng 5 (UTC+8), Google tiết lộ chi tiết kiến trúc của TPU 8 thế hệ (TPU 8t) kết nối dạng rack đến mạng Virgo. Mạng này sử dụng switch có bậc cao và topology hai lớp không chặn phẳng, nâng cao băng thông mạng trung tâm dữ liệu gấp 4 lần so với thế hệ trước, một cấu trúc có thể kết nối hơn 134.000 chip TPU 8t, cung cấp băng thông hai chiều không chặn 47 Pb/s và hiệu suất mở rộng gần tuyến tính hơn 1.7K ExaFlops. TPU 8t tự nó sử dụng topology vòng tròn 3D, một super pod có thể mở rộng đến 9600 chip, và hỗ trợ mở rộng qua JAX và Pathways lên hơn 1 triệu chip. Các công nghệ chính bao gồm bộ tăng tốc SparseCore, chồng chéo và cân bằng mở rộng VPU/MXU, hỗ trợ gốc FP4, và tích hợp CPU dựa trên Arm Axion loại bỏ điểm nghẽn chủ. Thiết kế này nhằm hướng tới sự tiến hóa của mô hình AI từ các mô hình ngôn ngữ lớn tập trung đến các mô hình hỗn hợp quy mô lớn và kiến trúc tập trung vào suy luận. (Nguồn: InFoQ)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 9
  • 2
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
GateUser-bf5d0c14
· 1giờ trước
Kết nối khung máy dùng Virgo, hai lớp phẳng không chặn, chi tiết kỹ thuật này đủ mạnh mẽ
Xem bản gốcTrả lời0
BlackVelvetKey
· 1giờ trước
SparseCore và FP4 hỗ trợ gốc, chi phí đào tạo có thể giảm bao nhiêu?
Xem bản gốcTrả lời0
AuroraSnowyWildernessSolitary
· 2giờ trước
47Pb/s băng thông không chặn thực sự là phi thường, thiết kế mạng của Google này chắc chắn hướng tới AGI rồi nhỉ
Xem bản gốcTrả lời0
GateUser-f78f1f3e
· 5giờ trước
Mở rộng hàng triệu chip, vòng này hệ sinh thái JAX/Pathways gắn bó quá sâu.
Xem bản gốcTrả lời0
CatUnderTheNeonBridge
· 5giờ trước
13.4 vạn chip đơn cấu trúc, quy mô này AWS nhìn thấy im lặng, Azure nhìn thấy rơi lệ
Xem bản gốcTrả lời0
AirdropJanitor
· 5giờ trước
Arm Axion CPU tích hợp, TPU cũng sẽ theo hướng SoC
Xem bản gốcTrả lời0
AprDaydream
· 5giờ trước
Tối ưu hóa dành riêng cho kiến trúc MoE, có vẻ Gemini thế hệ tiếp theo sẽ làm lớn chuyện
Xem bản gốcTrả lời0
AirdropArchivist
· 5giờ trước
VPU/MXU chồng chéo cân bằng, Google cuối cùng đã hiểu cách sắp xếp đơn vị tính toán
Xem bản gốcTrả lời0
QuantitativeButNotPretentious
· 5giờ trước
Cụm siêu nhỏ đơn 9600 chip, làm thế nào để giải quyết vấn đề làm mát? Tò mò quá
Xem bản gốcTrả lời0
Xem thêm