Google công bố chi tiết kiến trúc mạng cấp rack của TPU 8 thế hệ 8t

robot
Đang tạo bản tóm tắt
AIMPACT Tin nhắn, ngày 16 tháng 5 (UTC+8), Google tiết lộ chi tiết kiến trúc của TPU 8t thế hệ thứ tám kết nối theo khung máy chủ đến mạng Virgo.
Mạng này sử dụng switch có bậc cao và kiến trúc hai lớp không chặn phẳng, nâng cao băng thông mạng trung tâm dữ liệu gấp 4 lần so với thế hệ trước, một cấu trúc có thể kết nối hơn 134.000 chip TPU 8t, cung cấp băng thông hai chiều không chặn 47 Pb/s và hiệu suất mở rộng gần tuyến tính trên 1,7K ExaFlops.
TPU 8t tự nó sử dụng kiến trúc vòng tròn 3D, một module siêu lớn có thể mở rộng đến 9600 chip, và hỗ trợ mở rộng qua JAX và Pathways lên hơn 1 triệu chip.
Các công nghệ chính bao gồm bộ tăng tốc SparseCore, chồng chéo và cân bằng mở rộng VPU/MXU, hỗ trợ gốc FP4, và tích hợp CPU dựa trên Arm Axion để loại bỏ nút cổ chai của máy chủ.
Thiết kế này nhằm hướng tới sự tiến hóa của mô hình AI từ các mô hình ngôn ngữ lớn tập trung cao đến các mô hình hỗn hợp quy mô lớn và kiến trúc dựa trên suy luận đòi hỏi cao.
(nguồn: InFoQ)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 11
  • 3
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
GateUser-8df0eb2b
· 2giờ trước
Vi mạch siêu lớn đơn 9600 chip, có thể mở rộng đến hàng triệu, quy mô này nếu năm ngoái còn dám nghĩ tới cũng không dám tưởng tượng
Xem bản gốcTrả lời0
PerpNightwatch
· 3giờ trước
Hỗ trợ FP4 nguyên bản, áp lực bộ nhớ và băng thông giảm đáng kể, chi phí suy luận cũng giảm xuống.
Xem bản gốcTrả lời0
GateUser-14cb5f72
· 3giờ trước
1.7K ExaFlops mở rộng gần tuyến tính, con số này trông giống như trong tiểu thuyết khoa học viễn tưởng
Xem bản gốcTrả lời0
TheNemesisOfFomo
· 3giờ trước
Hệ sinh thái Pathways+JAX ngày càng gắn bó chặt chẽ hơn, Google đang xây dựng hàng rào bảo vệ của riêng mình
Xem bản gốcTrả lời0
OpcodePoet
· 3giờ trước
Chuyển mạch có cơ số cao với sơ đồ mạng phẳng, ý tưởng thiết kế này trung tâm dữ liệu có thể sao chép bài tập không
Xem bản gốcTrả lời0
ChillBlock
· 3giờ trước
Chuyển từ mô hình LLM tập trung sang kiến trúc MoE+ suy luận, xu hướng ngành sẽ thay đổi
Xem bản gốcTrả lời0
Don'tCallMeABagHolder.
· 4giờ trước
Việc đặt tên TPU 8t, thế hệ tiếp theo có phải sẽ gọi là 9t, 10t, trực tiếp theo sát nhịp độ phát triển của Nvidia không?
Xem bản gốcTrả lời0
StardustUnderTheGlassDome
· 4giờ trước
Băng thông kết nối chip tăng gấp 4 lần, nút thắt truyền thông thở phào nhẹ nhõm, hiệu quả song song của mô hình lớn có thể được cải thiện.
Xem bản gốcTrả lời0
RedGlass
· 4giờ trước
Làm thế nào để xử lý tỷ lệ lỗi của cụm chip triệu chip, tôi tò mò về cơ chế chịu lỗi của họ
Xem bản gốcTrả lời0
ShortPositionsAtTheElevator
· 4giờ trước
SparseCore và thiết kế chồng chéo VPU/MXU khá thú vị, cảm giác đang mở đường cho kiến trúc MoE
Xem bản gốcTrả lời0
Xem thêm