Google công bố chi tiết kiến trúc mạng cấp khung máy của TPU thế hệ thứ tám 8t

AIMPACT Tin nhắn, ngày 16 tháng 5 (UTC+8), Google tiết lộ chi tiết kiến trúc của TPU 8 thế hệ (TPU 8t) kết nối theo dạng khung rack đến mạng Virgo. Mạng này sử dụng switch có bậc cao và kiến trúc hai lớp không chặn phẳng, nâng cao băng thông mạng trung tâm dữ liệu gấp 4 lần so với thế hệ trước, có thể kết nối hơn 134.000 chip TPU 8t trong một cấu trúc, cung cấp băng thông hai chiều không chặn 47 Pb/s và hiệu năng mở rộng gần tuyến tính trên 1.7K ExaFlops. TPU 8t sử dụng kiến trúc vòng tròn 3D, một super pod có thể mở rộng đến 9600 chip, và hỗ trợ mở rộng qua JAX và Pathways lên hơn 1 triệu chip. Các công nghệ chính bao gồm bộ tăng tốc SparseCore, chồng chéo và cân bằng mở rộng VPU/MXU, hỗ trợ gốc FP4, và tích hợp CPU dựa trên Arm Axion để loại bỏ nút cổ chai của máy chủ. Thiết kế này nhằm đáp ứng sự tiến hóa của mô hình AI từ các mô hình ngôn ngữ lớn cường độ cao đến các mô hình hỗn hợp quy mô lớn và kiến trúc tập trung vào suy luận. (Nguồn: InFoQ)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim