A ecologia AMD finalmente tem um modelo de linguagem de difusão competitivo, quanta economia de poder de processamento a jogada do TiDAR economizou

Ver original
MeNews
Zyphra lança o primeiro modelo de linguagem de difusão do ecossistema AMD, com velocidade máxima de até 7,7 vezes mais rápido
Zyphra lança ZAYA1-8B-Diffusion-Preview, transformando o grande modelo de linguagem autoregressivo em um modelo de difusão de especialistas híbridos, tornando-se o primeiro modelo de linguagem de difusão treinado no ecossistema de hardware AMD. Através do TiDAR, pula o pré-treinamento do zero, podendo remover 16 tokens simultaneamente em uma única passagem, transformando o gargalo de memória de vídeo em gargalo de poder de processamento. Testes reais mostram uma aceleração de 4,6x com atenção CCA + amostragem sem perdas, aumentando para 7,7x após a troca para o amostrador de logit híbrido.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado