Google lança a oitava geração de TPU, detalhes da arquitetura de rede em rack 8t

robot
Geração do resumo em andamento
AIMPACT mensagem, 16 de maio (UTC+8), o Google revelou detalhes da arquitetura de conexão em rack do oitavo geração de TPU (TPU 8t) à rede Virgo.
A rede utiliza switches de alta cardinalidade e uma topologia de duas camadas sem bloqueios e plana, aumentando a largura de banda da rede do data center em 4 vezes em relação à geração anterior, podendo conectar mais de 134.000 chips TPU 8t em uma única estrutura, oferecendo uma largura de banda bidirecional não bloqueante de 47 Pb/s e desempenho quase linear de mais de 1,7K ExaFlops.
O TPU 8t em si utiliza uma topologia de anel 3D, com um único módulo super capaz de escalar até 9600 chips, e suporta expansão para mais de 1 milhão de chips via JAX e Pathways.
Tecnologias-chave incluem aceleradores SparseCore, sobreposição e escalonamento equilibrado de VPU/MXU, suporte nativo a FP4, e integração do CPU Axion baseado em Arm para eliminar gargalos do host.
Esse design é voltado para a evolução de modelos de IA, de grandes modelos de linguagem densos para modelos de especialistas híbridos em grande escala e arquiteturas de inferência intensiva.
(Fonte: InFoQ)
GOOGLX0,85%
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 5
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
L2LunchBoy
· 9h atrás
O treinamento de precisão FP4 é estável ou é apenas para inferência?
Ver originalResponder0
NeonIceMelt
· 9h atrás
13.4 mil chips em uma única estrutura, como dividir o domínio de falhas é uma questão de conhecimento
Ver originalResponder0
LatencyLullaby
· 11h atrás
SparseCore e FP4 suportados nativamente, a Google está realmente pressionando ao máximo o custo de inferência.
Ver originalResponder0
GateUser-ebdc7d3a
· 11h atrás
Núcleo único de cápsula super poderosa 9600 chip, estou muito curioso para saber como fizeram a dissipação de calor com essa densidade
Ver originalResponder0
ByteBard
· 11h atrás
Arm Axion CPU integrado, a computação heterogênea está ficando cada vez mais avançada
Ver originalResponder0