JetBrains kali ini benar-benar nyata dalam open source, model 12B hanya diaktifkan 2.5B, biaya dikendalikan dengan sangat ketat, dan percepatan draf MTP juga cukup menarik

Lihat Asli
CoinNetwork
Model kode Mellum-2 sumber terbuka JetBrains: Dukungan kepala MTP bawaan mempercepat decoding spekulatif
JetBrains open source Mellum-2, model ahli campuran kode dengan 12B parameter. Untuk mengendalikan biaya inferensi, hanya sekitar 2,5 miliar parameter yang diaktifkan per token, bobotnya telah dirilis di Hugging Face, Apache 2.0. Menambahkan modul prediksi multi token (MTP), selama inferensi, kepala MTP berfungsi sebagai model draft untuk mempercepat sampling. Menyediakan tiga versi: dasar, percakapan, dan pemikiran, versi pemikiran dapat menampilkan rantai pemikiran eksplisit sebelum output. Benchmark: Humaneval 41,46%, MMLU 70,87%.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan