A Google lança a oitava geração de TPU, detalhes da arquitetura de rede em rack 8t

robot
Geração de resumo em curso
AIMPACT mensagem, 16 de maio (UTC+8), o Google revelou detalhes arquiteturais do oitavo geração de TPU (TPU 8t) conectado em rack à rede Virgo.
A rede utiliza switches de alta cardinalidade e uma topologia plana de duas camadas sem bloqueios, aumentando a largura de banda da rede do centro de dados em 4 vezes em relação à geração anterior, podendo conectar mais de 134.000 chips TPU 8t com uma única estrutura, oferecendo uma largura de banda bidirecional não bloqueante de 47 Pb/s e uma performance de quase linear de mais de 1,7K ExaFlops.
O TPU 8t em si utiliza uma topologia de anel 3D, com um único módulo super capaz de escalar até 9600 chips, e suporta expansão para mais de um milhão de chips via JAX e Pathways.
Tecnologias-chave incluem aceleradores SparseCore, sobreposição e escalonamento equilibrado de VPU/MXU, suporte nativo a FP4, e integração do CPU Axion baseado em Arm para eliminar gargalos do host.
Este design é voltado para a evolução de modelos de IA, de grandes modelos de linguagem densos para modelos de especialistas híbridos em grande escala e arquiteturas intensivas em inferência.
(Fonte: InFoQ)
GOOGLX1,36%
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • 10
  • 2
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Semi-MeltedIceCream
· 2h atrás
O custo de um switch de alta base não é baixo, certo? Quanto tempo os fornecedores de nuvem precisam para recuperar o investimento com esse preço?
Ver originalResponder0
HypeVaccinated
· 6h atrás
O centro de supercomputação acabou de ser construído e já foi superado pelo Google Cloud, quem consegue acompanhar essa velocidade de iteração?
Ver originalResponder0
LeverageWhisperer
· 7h atrás
SparseCore e o suporte nativo do FP4 têm alguma coisa, o custo de inferência também vai ser reduzido.
Ver originalResponder0
GateUser-6da8ed4c
· 7h atrás
Integração do CPU Arm Axion, evitando a necessidade de conectar uma unidade externa, o design é bastante inteligente.
Ver originalResponder0
Stop-LossLineForTheEveningGlow
· 7h atrás
JAX/Pathways expande-se diretamente para milhões, a Google está a pressionar outros frameworks a não conseguirem acompanhar
Ver originalResponder0
GateUser-7919e6b9
· 7h atrás
13.4万 chip 单结构,这个故障域怎么切?好奇运维怎么搞
Ver originalResponder0
PaperSculptureOctopus
· 7h atrás
Espera, 8t é a oitava geração? Ainda não experimentei o TPU v5 quentinho.
Ver originalResponder0
GateUser-9d67589f
· 7h atrás
Topologia de toro 3D + duas camadas sem bloqueios, a rede realmente foi trabalhada com bastante esforço
Ver originalResponder0
SpiralSeaSalt
· 7h atrás
Um milhão de clusters de chips... Isto vai treinar a Skynet?
Ver originalResponder0
Post-RainCandlestick
· 7h atrás
O Google desta vez levou o TPU ao extremo, 47 Pb/s que conceito é esse, minha internet de banda larga ficaria chorando e desmaiada no banheiro
Ver originalResponder0
Ver mais