红帽与特斯拉工程师合作优化Llama 3.1 70B推理性能

robot
Генерация тезисов в процессе
ME News сообщает, 23 апреля (UTC+8), инженеры Red Hat и Tesla недавно сотрудничали для оптимизации проблем в реальной производственной среде. Используя комбинацию проектов KServe, LLM-D и vLLM, они достигли значительного повышения производительности вывода на модели Llama 3.1 70B, при этом количество токенов в секунду увеличилось в 3 раза, а время первого токена улучшилось в 2 раза. В ходе сотрудничества соответствующие исправления были отправлены в восходящий проект KServe. Статья рассматривает это как образец сотрудничества с открытым исходным кодом. (Источник: InFoQ)
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено