Google lança detalhes da arquitetura de rede em rack do oitavo TPU 8t

robot
Geração do resumo em andamento
AIMPACT mensagem, 16 de maio (UTC+8), o Google revelou detalhes da arquitetura de conexão em rack do oitavo geração de TPU (TPU 8t) à rede Virgo.
A rede utiliza switches de alta cardinalidade e uma topologia plana de duas camadas sem bloqueios, aumentando a largura de banda da rede do data center em 4 vezes em relação à geração anterior, podendo conectar mais de 134.000 chips TPU 8t em uma única estrutura, oferecendo 47 Pb/s de largura de banda bidirecional sem bloqueios e desempenho quase linear de mais de 1,7K ExaFlops.
O TPU 8t em si adota uma topologia de anel 3D, com um único módulo super capaz de escalar até 9600 chips, e suporta expansão para mais de 1 milhão de chips via JAX e Pathways.
Tecnologias-chave incluem aceleradores SparseCore, sobreposição e escalonamento equilibrado de VPU/MXU, suporte nativo a FP4, e integração do CPU Axion baseado em Arm para eliminar gargalos do host.
Esse design é voltado para a evolução de modelos de IA, de grandes modelos de linguagem densos para modelos de especialistas híbridos em grande escala e arquiteturas de inferência intensiva.
(Fonte: InFoQ)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 11
  • 3
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
GateUser-8df0eb2b
· 5h atrás
Chip de satélite único de 9600 núcleos, pode ser expandido para milhões, esse nível de escala, se fosse no ano passado, ninguém ousaria imaginar
Ver originalResponder0
PerpNightwatch
· 6h atrás
Suporte nativo ao FP4, a pressão na memória e na largura de banda pode diminuir bastante, e o custo de inferência também caiu.
Ver originalResponder0
GateUser-14cb5f72
· 6h atrás
1.7K ExaFlops de expansão quase linear, esse número parece ficção científica
Ver originalResponder0
TheNemesisOfFomo
· 6h atrás
Pathways+JAX do ecossistema estão se consolidando cada vez mais, a Google está fortalecendo sua própria barreira de proteção
Ver originalResponder0
OpcodePoet
· 6h atrás
Switch de alta cardinalidade com topologia plana, essa ideia de design pode ser copiada pelos data centers?
Ver originalResponder0
ChillBlock
· 6h atrás
Da arquitetura de LLMs densos para MoE+ inferência, a tendência do setor está mudando
Ver originalResponder0
Don'tCallMeABagHolder.
· 6h atrás
Com a nomeação TPU 8t, a próxima geração será chamada de 9t, 10t, seguindo diretamente o ritmo de iteração da Nvidia.
Ver originalResponder0
StardustUnderTheGlassDome
· 6h atrás
Aumento de 4 vezes na largura de banda de conexão de chips, o gargalo de comunicação aliviou, a eficiência de paralelismo de grandes modelos pode melhorar
Ver originalResponder0
RedGlass
· 6h atrás
Como lidar com a taxa de falhas de um cluster de milhões de chips? Estou curioso sobre seus mecanismos de tolerância a falhas.
Ver originalResponder0
ShortPositionsAtTheElevator
· 6h atrás
O design sobreposto de SparseCore e VPU/MXU é bastante interessante, parece estar preparando o caminho para a arquitetura MoE.
Ver originalResponder0
Ver projetos