PrismML meluncurkan model 1.58-bit Ternary Bonsai, pengurangan parameter 9 kali lipat, kecerdasan melampaui sejenisnya

robot
Pembuatan abstrak sedang berlangsung
ME News Berita, 17 April (UTC+8), menurut pemantauan Beating dari Dongcha, PrismML merilis model bahasa seri Ternary Bonsai, menggunakan teknologi bobot ternary 1,58 bit (), yang mengurangi penggunaan memori model hingga seper sembilan dari model 16 bit sambil mempertahankan kinerja tinggi. Seri ini mencakup tiga ukuran parameter yaitu 8B, 4B, dan 1,7B, dan saat ini telah dirilis secara terbuka di Hugging Face serta mendukung menjalankan secara native di perangkat Apple.
Model 1,58 bit yang dimaksud adalah membatasi bobot jaringan saraf pada tiga nilai {-1, 0, +1}. Dibandingkan dengan model 1 bit sebelumnya yang berfokus pada kompresi ekstrem (bobot hanya {-1, +1}), pengenalan nilai "0" dapat secara efektif menghilangkan koneksi redundan, memungkinkan model mempertahankan kemampuan inferensi yang kompleks dalam ukuran yang sangat kecil.
File bobot 8B dari Ternary Bonsai yang dirilis kali ini hanya berukuran 1,75 GB, dengan skor pengujian rata-rata mencapai 75,5, yang tidak hanya 5 poin lebih tinggi dari versi 1 bit mereka sendiri, tetapi juga secara signifikan unggul dalam "rasio efisiensi energi" (kinerja yang diberikan per GB memori) dibandingkan model densitas serupa seperti Qwen3.
Rasio efisiensi energi dan kecepatan operasi adalah keunggulan utama lainnya dari seri ini. Di iPhone 17 Pro Max, versi 8B dapat berjalan dengan kecepatan hingga 27 tok/s, meningkatkan rasio efisiensi energi sekitar 3 hingga 4 kali.
Ini berarti bagi pengembang yang perlu menerapkan AI berkinerja tinggi di perangkat seperti ponsel dan laptop, mereka dapat memperoleh performa cerdas yang mendekati model lengkap dengan biaya memori yang sangat kecil.
Saat ini, model Ternary Bonsai telah mendukung secara native di perangkat Apple melalui kerangka kerja MLX. Bobot model didistribusikan di bawah lisensi Apache 2.0.
(Sumber: BlockBeats)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 9
  • 10
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
OldKeyboardTraitor
· 8jam yang lalu
Bobot tiga nilai sebenarnya jauh lebih sulit daripada binarisasi, keberadaan 0 membuat informasi lebih fleksibel dipertahankan, langkah PrismML ini dipilih dengan tepat
Lihat AsliBalas0
BoredInBlockspace
· 8jam yang lalu
1.75GB menampung 8B parameter, ke depannya LLM lokal benar-benar menjadi kebiasaan
Lihat AsliBalas0
0xLateDiner
· 8jam yang lalu
1.58 bobot prioritas terlalu tinggi, memori langsung dipotong menjadi sepertiga, tingkat kompresinya cukup signifikan
Lihat AsliBalas0
GateUser-0f33f9ef
· 9jam yang lalu
{-1,0,+1} kuantisasi tiga nilai, keanggunan matematika dan rekayasa juga telah terwujud
Lihat AsliBalas0
ProofOfSnack
· 9jam yang lalu
Nama Ternary Bonsai sangat bagus, nilai tiga seperti memangkas bonsai, menghilangkan yang rumit menjadi sederhana
Lihat AsliBalas0
BerryColdWallet
· 9jam yang lalu
Menjalankan model 8B di iPhone 27 tok/detik? Pengguna Apple sangat gembira
Lihat AsliBalas0
GateUser-e1cfc287
· 9jam yang lalu
Rasio efisiensi energi meningkat 3-4 kali lipat, kekhawatiran konsumsi daya AI edge teratasi
Lihat AsliBalas0
L2Mailman
· 9jam yang lalu
MLX mendukung secara native, ekosistem Apple kembali menambah satu bagian puzzle
Lihat AsliBalas0
FoldedCosmosCat
· 9jam yang lalu
Open source + Apache 2.0, gelombang PrismML ini membuka pola baru
Lihat AsliBalas0
Lihat Lebih Banyak
  • Disematkan