Google publica detalles de la arquitectura de red de la octava generación de TPU 8t a nivel de rack

robot
Generación de resúmenes en curso
Mensaje AIMPACT, 16 de mayo (UTC+8), Google reveló detalles de la arquitectura de conexión en rack de la octava generación de TPU (TPU 8t) a la red Virgo.
La red utiliza conmutadores de alta cardinalidad y una topología de dos capas sin bloqueo y plana, elevando el ancho de banda de la red del centro de datos a 4 veces la generación anterior, con una sola estructura capaz de conectar más de 134,000 chips TPU 8t, proporcionando un ancho de banda bidireccional sin bloqueo de 47 Pb/s y un rendimiento de casi 1.7K ExaFlops con escalabilidad casi lineal.
El TPU 8t en sí mismo utiliza una topología de anillo 3D, con un solo módulo superconector escalable hasta 9600 chips, y soporta expansión a más de un millón de chips mediante JAX y Pathways.
Las tecnologías clave incluyen aceleradores SparseCore, superposición y escalado equilibrado de VPU/MXU, soporte nativo para FP4, y CPU Axion basada en Arm integrada para eliminar cuellos de botella en la host.
Este diseño está dirigido a la evolución de modelos de IA desde modelos de lenguaje grande densos hacia modelos de expertos híbridos a gran escala y arquitecturas intensivas en inferencia.
(Fuente: InFoQ)
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • 10
  • 2
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
GateUser-1bc81bb2
· hace1h
Desde TPU v4 hasta 8t, esta velocidad de iteración hace que Nvidia no pueda dormir.
Ver originalResponder0
GateUser-bf5d0c14
· hace3h
Interconexión de racks con Virgo, dos capas planas sin bloqueo, los detalles de este proyecto son bastante sólidos
Ver originalResponder0
BlackVelvetKey
· hace4h
SparseCore y FP4 soportados de forma nativa, ¿cuánto se puede reducir el costo de entrenamiento?
Ver originalResponder0
AuroraSnowyWildernessSolitary
· hace4h
47Pb/s de ancho de banda no bloqueante realmente es una locura, ¿el diseño de la topología de red de Google va dirigido hacia la AGI, verdad?
Ver originalResponder0
GateUser-f78f1f3e
· hace7h
Expansión de millones de chips, la integración del ecosistema de JAX/Pathways es demasiado profunda en esta ola
Ver originalResponder0
CatUnderTheNeonBridge
· hace7h
13.4 millones de chips en estructura única, AWS lo miró en silencio, Azure lloró al verlo
Ver originalResponder0
AirdropJanitor
· hace7h
Arm Axion CPU integrado, TPU también seguirá la ruta del SoC
Ver originalResponder0
AprDaydream
· hace7h
Optimización específica para la arquitectura MoE, parece que Gemini la próxima generación va a hacer grandes cosas
Ver originalResponder0
AirdropArchivist
· hace7h
VPU/MXU equilibrio superpuesto, Google finalmente ha entendido cómo programar las unidades de cálculo
Ver originalResponder0
QuantitativeButNotPretentious
· hace7h
¿Un módulo único de súper cápsula con chip 9600, cómo han resuelto la disipación de calor? Tengo curiosidad.
Ver originalResponder0
Ver más