Red Hat e engenheiros da Tesla colaboram para otimizar o desempenho de inferência do Llama 3.1 70B

robot
Geração do resumo em andamento
ME News notícias, 23 de abril (UTC+8), engenheiros da Red Hat e da Tesla colaboraram recentemente para otimizar problemas no ambiente de produção real. Combinando os projetos KServe, LLM-D e vLLM, eles alcançaram uma melhora significativa no desempenho de inferência no modelo Llama 3.1 70B, com um aumento de 3 vezes no número de tokens de saída por segundo e uma melhora de 2 vezes no tempo do primeiro token. Durante a colaboração, as correções relevantes foram enviadas para upstream no projeto KServe. O artigo considera isso como um exemplo de colaboração de código aberto. (Fonte: InFoQ)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado