Modelo de código aberto com trilhões de parâmetros atinge 981 palavras/segundo, Cerebras testa KimiK2.6 com aceleração de 29 vezes

robot
Geração do resumo em andamento
ME News notícias, 20 de maio (UTC+8), de acordo com o monitoramento do 动察 Beating, a empresa de chips em escala de wafer Cerebras anunciou que colocou em teste empresarial o modelo de parâmetros de trilhões Kimi K2.6, eliminando completamente a latência de interconexão da comunicação tradicional em nível de placa ao integrar chips diretamente em uma pastilha de silício de 12 polegadas. A agência de avaliação terceirizada Artificial Analysis testou e mostrou que a velocidade de geração atingiu 981 tokens/s, sendo 6,7 vezes mais rápida que os serviços de GPU em nuvem convencionais. Na tarefa de texto longo com 10000 tokens de entrada e 500 tokens de saída, o tempo total de resposta foi reduzido de 163,7 segundos na interface oficial do Kimi para 5,6 segundos, uma aceleração de 29 vezes. Como os pesos do modelo são distribuídos em múltiplos wafers e os valores de ativação são transmitidos em fluxo, a comunicação entre camadas opera inteiramente na rede tecida dentro do wafer, com largura de banda física de comunicação mais de 200 vezes superior ao NVLink na arquitetura NVL72 da NVIDIA. Combinado com otimização de computação distribuída, o Kimi K2.6 armazena com baixa perda usando pesos originais de 4 bits, mantém a precisão com números de ponto flutuante de 16 bits durante o cálculo, e utiliza kernels de operadores personalizados e decodificação especulativa para alcançar execução em tempo real. (Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários