Google lança detalhes da arquitetura de rede do oitavo TPU 8t de nível rack

robot
Geração do resumo em andamento
AIMPACT mensagem, 16 de maio (UTC+8), o Google revelou detalhes da arquitetura de conexão em rack do oitavo geração de TPU (TPU 8t) à rede Virgo.
A rede utiliza switches de alta cardinalidade e uma topologia plana de duas camadas sem bloqueios, aumentando a largura de banda da rede do data center em 4 vezes em relação à geração anterior, podendo conectar mais de 134.000 chips TPU 8t em uma única estrutura, oferecendo 47 Pb/s de largura de banda bidirecional sem bloqueios e desempenho quase linear de mais de 1,7K ExaFlops.
O TPU 8t em si utiliza uma topologia de anel 3D, com um único módulo super capaz de escalar até 9600 chips, e suporta expansão para mais de 1 milhão de chips via JAX e Pathways.
Tecnologias-chave incluem aceleradores SparseCore, sobreposição e escalonamento equilibrado de VPU/MXU, suporte nativo a FP4, e integração do CPU Axion baseado em Arm para eliminar gargalos do host.
Esse design é voltado para a evolução de modelos de IA, de grandes modelos de linguagem densos para modelos de especialistas híbridos em grande escala e arquiteturas de inferência intensiva.
(Fonte: InFoQ)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 10
  • 2
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
GateUser-1bc81bb2
· 05-27 06:36
De TPU v4 até 8t, essa velocidade de iteração faz a Nvidia não conseguir dormir.
Ver originalResponder0
GateUser-bf5d0c14
· 05-27 04:48
Interconexão de racks com Virgo, duas camadas planas sem bloqueio, esses detalhes do projeto são realmente robustos
Ver originalResponder0
BlackVelvetKey
· 05-27 04:05
SparseCore e FP4 suportam nativamente, quanto é possível reduzir os custos de treinamento?
Ver originalResponder0
AuroraSnowyWildernessSolitary
· 05-27 03:30
47Pb/s de largura de banda não bloqueante é realmente absurdo, o design de topologia de rede do Google é voltado para AGI, não é?
Ver originalResponder0
GateUser-f78f1f3e
· 05-27 00:57
Expansão de milhões de chips, a ligação do ecossistema JAX/Pathways é muito profunda nesta rodada
Ver originalResponder0
CatUnderTheNeonBridge
· 05-27 00:46
13.4 milhões de chips com estrutura única, essa escala a AWS ficou em silêncio, a Azure ficou emocionada
Ver originalResponder0
AirdropJanitor
· 05-27 00:46
Arm Axion CPU integrado, TPU também seguirá a rota do SoC
Ver originalResponder0
AprDaydream
· 05-27 00:46
Otimização dedicada à arquitetura MoE, parece que a próxima geração do Gemini vai fazer algo grande
Ver originalResponder0
AirdropArchivist
· 05-27 00:46
VPU/MXU sobreposição de equilíbrio, o Google finalmente entendeu como agendar as unidades de cálculo
Ver originalResponder0
QuantitativeButNotPretentious
· 05-27 00:46
Conjunto de cápsulas superpoderosas com chip 9600, como vocês resolveram o resfriamento? Estou curioso.
Ver originalResponder0
Ver projetos
  • Fixado