Red Hat y los ingenieros de Tesla colaboran para optimizar el rendimiento de inferencia de Llama 3.1 70B.

robot
Generación de resúmenes en curso
ME News消息,4月23日(UTC+8),红帽与特斯拉的工程师近日合作,针对实际生产环境中的问题进行了优化。通过结合使用KServe、LLM-D和vLLM项目,他们在Llama 3.1 70B模型上实现了推理性能的显著提升,其中每秒输出token数提升了3倍,首次token时间提升了2倍。在合作过程中,相关的修复已向上游推送至KServe项目。文中将此视为开源协作的典范。(来源:InFoQ)
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado