A Google lança a oitava geração de TPU, detalhes da arquitetura de rede em rack 8t

robot
Geração de resumo em curso
AIMPACT mensagem, 16 de maio (UTC+8), o Google revelou detalhes arquiteturais do oitavo geração de TPU (TPU 8t) conectado ao nível de rack na rede Virgo.
A rede utiliza switches de alta cardinalidade e uma topologia plana de duas camadas sem bloqueios, aumentando a largura de banda da rede do data center em 4 vezes em relação à geração anterior, podendo conectar mais de 134.000 chips TPU 8t com uma única estrutura, oferecendo uma largura de banda bidirecional não bloqueante de 47 Pb/s e uma performance de quase linear de mais de 1,7K ExaFlops.
O TPU 8t em si utiliza uma topologia de anel 3D, com um único módulo super capaz de escalar até 9600 chips, e suporta expansão para mais de um milhão de chips através do JAX e Pathways.
As tecnologias-chave incluem aceleradores SparseCore, sobreposição e escalonamento equilibrado de VPU/MXU, suporte nativo a FP4, e integração do CPU Axion baseado em Arm para eliminar gargalos do host.
Este design é voltado para a evolução de modelos de IA, desde grandes modelos de linguagem densos até modelos de especialistas híbridos em grande escala e arquiteturas intensivas em inferência.
(Fonte: InFoQ)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • 11
  • 3
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
GateUser-8df0eb2b
· 3h atrás
Um único módulo de chip de 9600 núcleos, capaz de expandir para milhões, esse nível de escala no ano passado seria impensável.
Ver originalResponder0
PerpNightwatch
· 4h atrás
Suporte nativo ao FP4, a pressão na memória e na largura de banda pode diminuir bastante, e o custo de inferência também caiu.
Ver originalResponder0
GateUser-14cb5f72
· 4h atrás
1.7K ExaFlops de expansão quase linear, este número parece ficção científica
Ver originalResponder0
TheNemesisOfFomo
· 4h atrás
O ecossistema Pathways+JAX está se aprofundando cada vez mais, a Google está fortalecendo sua própria barreira de proteção
Ver originalResponder0
OpcodePoet
· 4h atrás
Comutadores de alta cardinalidade com topologia plana, esta abordagem de design pode ser copiada pelos centros de dados?
Ver originalResponder0
ChillBlock
· 5h atrás
De modelos de linguagem grandes (LLM) intensivos para arquitetura MoE+de raciocínio, a direção do setor está a mudar.
Ver originalResponder0
Don'tCallMeABagHolder.
· 5h atrás
Com a nomeação TPU 8t, a próxima geração será provavelmente chamada 9t, 10t, alinhando-se diretamente ao ritmo de iteração da Nvidia.
Ver originalResponder0
StardustUnderTheGlassDome
· 5h atrás
Aumentou-se a largura de banda de interconexão dos chips em 4 vezes, aliviando o gargalo de comunicação, a eficiência de paralelização de grandes modelos pode melhorar
Ver originalResponder0
RedGlass
· 5h atrás
Como lidar com a taxa de falhas de um cluster de milhões de chips? Tenho curiosidade sobre os mecanismos de tolerância a falhas deles.
Ver originalResponder0
ShortPositionsAtTheElevator
· 5h atrás
O design sobreposto de SparseCore e VPU/MXU é bastante interessante, parece estar a preparar o caminho para a arquitetura MoE
Ver originalResponder0
Ver mais