Google publica detalles de la arquitectura de red de la octava generación de TPU 8t a nivel de rack

robot
Generación de resúmenes en curso
AIMPACT mensaje, 16 de mayo (UTC+8), Google reveló los detalles arquitectónicos de la conexión a nivel de bastidor de la octava generación de TPU (TPU 8t) a la red Virgo.
La red utiliza conmutadores de alta cardinalidad y una topología plana de dos capas sin bloqueo, elevando el ancho de banda de la red del centro de datos a 4 veces la generación anterior, con una sola estructura capaz de conectar más de 134,000 chips TPU 8t, proporcionando un ancho de banda bidireccional sin bloqueo de 47 Pb/s y un rendimiento de casi 1.7K ExaFlops con escalabilidad casi lineal.
El TPU 8t en sí mismo utiliza una topología de anillo 3D, con un solo módulo superconector escalable hasta 9600 chips, y soporta la expansión a más de un millón de chips mediante JAX y Pathways.
Las tecnologías clave incluyen aceleradores SparseCore, superposición y escalado equilibrado de VPU/MXU, soporte nativo para FP4, y la integración de CPU Axion basada en Arm para eliminar cuellos de botella en el host.
Este diseño está dirigido a la evolución de modelos de IA desde modelos de lenguaje grande y denso hacia modelos de expertos híbridos a gran escala y arquitecturas intensivas en inferencia.
(Fuente: InFoQ)
GOOGLX0,85%
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • 9
  • 2
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
HypeVaccinated
· hace2h
El centro de supercomputación acaba de ser construido y ya fue superado por Google Cloud, ¿quién puede seguirle el ritmo a esta velocidad de iteración?
Ver originalResponder0
LeverageWhisperer
· hace3h
SparseCore y el soporte nativo de FP4 tienen algunas ventajas, pero el costo de inferencia también se reduce.
Ver originalResponder0
GateUser-6da8ed4c
· hace4h
Integrar el CPU Arm Axion, así no es necesario conectar una máquina externa, el diseño es bastante inteligente.
Ver originalResponder0
Stop-LossLineForTheEveningGlow
· hace4h
JAX/Pathways se expande directamente a millones, Google está presionando a otros marcos para que no puedan seguir el ritmo
Ver originalResponder0
GateUser-7919e6b9
· hace4h
13.4万 chips de estructura única, ¿cómo dividir este dominio de fallos? Tengo curiosidad por cómo lo gestionan en operaciones.
Ver originalResponder0
PaperSculptureOctopus
· hace4h
Espera, ¿8t es la octava generación? Yo aún no he probado la TPU v5 recién salida.
Ver originalResponder0
GateUser-9d67589f
· hace4h
Topología de toro 3D + dos capas sin bloqueo, realmente se ha trabajado mucho en esta parte de la red
Ver originalResponder0
SpiralSeaSalt
· hace4h
Un millón de clústeres de chips... ¿Esto va a entrenar a Skynet?
Ver originalResponder0
Post-RainCandlestick
· hace4h
Google esta vez llevó el TPU a otro nivel, ¿qué significa 47 Pb/s? Mi banda ancha en casa se desmayaría del susto en el baño
Ver originalResponder0
Ver más