Google công bố chi tiết kiến trúc mạng cấp khung máy của TPU thế hệ thứ tám 8t

robot
Đang tạo bản tóm tắt
AIMPACT Tin nhắn, ngày 16 tháng 5 (UTC+8), Google tiết lộ chi tiết kiến trúc của TPU 8 thế hệ (TPU 8t) kết nối theo dạng rack đến mạng Virgo.
Mạng này sử dụng switch có bậc cao và kiến trúc hai lớp không chặn phẳng, nâng cao băng thông mạng trung tâm dữ liệu gấp 4 lần so với thế hệ trước, có thể kết nối hơn 134.000 chip TPU 8t trong một cấu trúc, cung cấp băng thông hai chiều không chặn 47 Pb/s và hiệu suất mở rộng gần tuyến tính trên 1.7K ExaFlops.
TPU 8t tự nó sử dụng kiến trúc vòng tròn 3D, một super pod có thể mở rộng đến 9600 chip, và hỗ trợ mở rộng qua JAX và Pathways lên hơn 1 triệu chip.
Các công nghệ chính bao gồm bộ tăng tốc SparseCore, chồng chéo và cân bằng mở rộng VPU/MXU, hỗ trợ gốc FP4, và tích hợp CPU dựa trên Arm Axion để loại bỏ nút thắt cổ chai của máy chủ.
Thiết kế này nhằm hướng tới sự tiến hóa của các mô hình AI từ các mô hình ngôn ngữ lớn tập trung cao đến các mô hình hỗn hợp quy mô lớn và kiến trúc dựa trên suy luận đòi hỏi cao.
(nguồn: InFoQ)
GOOGLX0,51%
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 5
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
L2LunchBoy
· 6giờ trước
FP4 độ chính xác huấn luyện có ổn định không, hay chỉ dùng cho suy luận?
Xem bản gốcTrả lời0
NeonIceMelt
· 6giờ trước
13.4 vạn chip đơn cấu trúc, làm thế nào để phân chia miền lỗi là một vấn đề học thuật
Xem bản gốcTrả lời0
LatencyLullaby
· 7giờ trước
SparseCore và FP4 được hỗ trợ nguyên bản, Google đang đẩy mạnh chi phí suy luận đến mức tối đa đấy
Xem bản gốcTrả lời0
GateUser-ebdc7d3a
· 7giờ trước
Cụm siêu nhỏ đơn 9600 chip, tôi rất tò mò về cách làm mát mật độ này như thế nào
Xem bản gốcTrả lời0
ByteBard
· 7giờ trước
Arm Axion CPU tích hợp vào, tính toán dị hướng ngày càng chơi giỏi hơn
Xem bản gốcTrả lời0