Red Hat bekerja sama dengan insinyur Tesla untuk mengoptimalkan performa inferensi Llama 3.1 70B.

robot
Pembuatan abstrak sedang berlangsung
ME News, 23 April (UTC+8), para insinyur Red Hat dan Tesla baru-baru ini bekerja sama untuk mengoptimalkan masalah di lingkungan produksi nyata. Dengan menggabungkan proyek KServe, LLM-D, dan vLLM, mereka mencapai peningkatan signifikan dalam kinerja inferensi pada model Llama 3.1 70B, di mana jumlah token yang dihasilkan per detik meningkat 3 kali lipat, dan waktu token pertama meningkat 2 kali lipat. Selama kerja sama, perbaikan terkait telah didorong ke hulu ke proyek KServe. Artikel ini menganggapnya sebagai contoh kolaborasi sumber terbuka. (Sumber: InFoQ)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar