Red Hat e engenheiros da Tesla colaboram para otimizar o desempenho de inferência do Llama 3.1 70B

ME News消息，4月23日（UTC+8），红帽与特斯拉的工程师近日合作，针对实际生产环境中的问题进行了优化。通过结合使用KServe、LLM-D和vLLM项目，他们在Llama 3.1 70B模型上实现了推理性能的显著提升，其中每秒输出token数提升了3倍，首次token时间提升了2倍。在合作过程中，相关的修复已向上游推送至KServe项目。文中将此视为开源协作的典范。（来源：InFoQ）

Tradução:

ME News informa que, em 23 de abril (UTC+8), engenheiros da Red Hat e da Tesla colaboraram recentemente para otimizar problemas em ambientes de produção reais. Ao combinar os projetos KServe, LLM-D e vLLM, alcançaram uma melhoria significativa no desempenho de inferência no modelo Llama 3.1 70B, com um aumento de 3 vezes no número de tokens de saída por segundo e uma melhoria de 2 vezes no tempo até ao primeiro token. Durante a colaboração, as correções relevantes foram enviadas para o projeto KServe a montante. O artigo considera isto um exemplo de colaboração de código aberto. (Fonte: InFoQ)