Red Hat e engenheiros da Tesla colaboram para otimizar o desempenho de inferência do Llama 3.1 70B

robot
Geração de resumo em curso
ME News notícias, 23 de abril (UTC+8), os engenheiros da Red Hat e da Tesla colaboraram recentemente para otimizar problemas em ambientes de produção reais.
Ao combinar os projetos KServe, LLM-D e vLLM, eles alcançaram melhorias significativas no desempenho de inferência no modelo Llama 3.1 70B, com um aumento de 3 vezes no número de tokens de saída por segundo e uma melhoria de 2 vezes no tempo do primeiro token.
Durante a colaboração, as correções relevantes foram enviadas para upstream no projeto KServe. O artigo considera isto como um exemplo de colaboração de código aberto. (Fonte: InFoQ)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado