A Google lança a oitava geração de TPU, detalhes da arquitetura de rede em rack 8t

robot
Geração de resumo em curso
AIMPACT mensagem, 16 de maio (UTC+8), o Google revelou detalhes arquiteturais do oitavo geração de TPU (TPU 8t) conectado ao nível de rack na rede Virgo.
A rede utiliza switches de alta cardinalidade e uma topologia plana de duas camadas sem bloqueios, aumentando a largura de banda da rede do data center em 4 vezes em relação à geração anterior, podendo conectar mais de 134.000 chips TPU 8t com uma única estrutura, oferecendo uma largura de banda bidirecional não bloqueante de 47 Pb/s e uma performance de quase linear de mais de 1,7K ExaFlops.
O TPU 8t em si utiliza uma topologia de anel 3D, com um único módulo super capaz de escalar até 9600 chips, e suporta expansão para mais de um milhão de chips através do JAX e Pathways.
Tecnologias-chave incluem aceleradores SparseCore, sobreposição e escalonamento equilibrado de VPU/MXU, suporte nativo a FP4, e integração do CPU Axion baseado em Arm para eliminar gargalos do host.
Este design é voltado para a evolução de modelos de IA, desde grandes modelos de linguagem densos até modelos de especialistas híbridos em grande escala e arquiteturas intensivas em inferência.
(Fonte: InFoQ)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • 10
  • 2
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
LiquidityTeaMaster
· 52m atrás
Virgo rede é um nome bem escolhido, obsessivamente sem bloqueios como um virginiano.
Ver originalResponder0
ZkSketcher
· 2h atrás
Expansão quase linear para 1,7K ExaFlops, a lei de Amdahl falhou na Google?
Ver originalResponder0
MevBreakRoom
· 2h atrás
TPU 8t Esta densidade de largura de banda é um pouco absurda, 47 Pb/s que conceito é esse
Ver originalResponder0
NonceNinja
· 2h atrás
De JAX a milhões de chips, os Pathways finalmente vão ter utilidade?
Ver originalResponder0
MarginMoth
· 2h atrás
Switches de alta densidade parecem caros, mas economizam módulos ópticos em comparação com Clos de três camadas
Ver originalResponder0
0xPeachy
· 2h atrás
Depois de ler, só quero perguntar: quando poderei obter o crédito de teste do TPU v6?
Ver originalResponder0
SushiLatency
· 2h atrás
Arm Axion CPU integrado, a computação heterogênea está a ficar cada vez mais sofisticada
Ver originalResponder0
Semi-MeltedIceCream
· 2h atrás
VPU/MXU sobreposição de equilíbrio, agendamento de granulação fina alcançar esse nível realmente impressiona
Ver originalResponder0
QuietExitPlan
· 2h atrás
13.4 mil chips em uma estrutura, como dividir esse domínio de falhas é uma questão de conhecimento
Ver originalResponder0
GlassDomeUniverse
· 2h atrás
Arquitetura de MoE + raciocínio para LLMs intensivos, esta é uma previsão antecipada da indústria.
Ver originalResponder0
Ver mais