HyperP estrutura de extensão lançada, reivindicando melhorar a eficiência computacional e a estabilidade de migração

robot
Geração de resumo em curso

Notícias da ME: mensagem, 1 de abril (UTC+8). Recentemente, foi apresentado um framework de extensão chamado HyperP. Este framework tem como objetivo proporcionar uma maior eficiência de computação e uma estabilidade mais facilmente portável. De acordo com o conteúdo do artigo, sob uma escala de computação de 6e21 FLOPs, o HyperP atinge um aumento de 1,58 vezes na eficiência de computação em comparação com uma implementação de referência forte baseada em Muon; quando combinado com a tecnologia MoE (mistura de especialistas), obtém ainda um aumento de 3,38 vezes na eficiência em relação a um modelo denso. O artigo defende que os seus ganhos aumentarão à medida que a escala se expande. O artigo inclui uma ligação para informações mais detalhadas. (Fonte: InFoQ)

Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixar