Red Hat та інженери Tesla співпрацюють для оптимізації продуктивності інференції Llama 3.1 70B

robot
Генерація анотацій у процесі

ME News повідомлення, 23 квітня (UTC+8), інженери Red Hat та Tesla нещодавно співпрацювали, оптимізуючи проблеми в реальних виробничих середовищах.

Поєднуючи використання проектів KServe, LLM-D та vLLM, вони досягли значного підвищення продуктивності інференції на моделі Llama 3.1 70B, де кількість токенів, виведених за секунду, зросла в 3 рази, а час до першого токена покращився в 2 рази.

Під час співпраці відповідні виправлення були надіслані до проекту KServe. У статті це вважається прикладом співпраці з відкритим кодом. (Джерело: InFoQ)

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено