PrismML meluncurkan model 1.58-bit Ternary Bonsai, pengurangan parameter 9 kali lipat, kecerdasan melampaui sejenisnya

robot
Pembuatan abstrak sedang berlangsung
ME News Berita, 17 April (UTC+8), menurut pemantauan Beating dari Dongcha, PrismML merilis model bahasa seri Ternary Bonsai, menggunakan teknologi bobot ternary 1.58 bit (), yang mengurangi penggunaan memori model hingga seper sembilan dari model 16 bit sambil mempertahankan kinerja tinggi. Seri ini mencakup tiga ukuran parameter yaitu 8B, 4B, dan 1.7B, dan telah dirilis secara terbuka di Hugging Face serta mendukung operasi asli di perangkat Apple.
Model 1.58 bit yang dimaksud adalah membatasi bobot jaringan neural pada tiga nilai {-1, 0, +1}. Dibandingkan dengan model 1 bit sebelumnya yang sangat dikompresi (bobot hanya {-1, +1}), pengenalan nilai "0" dapat secara efektif menghilangkan koneksi redundan, memungkinkan model mempertahankan kemampuan inferensi yang kompleks dalam ukuran yang sangat kecil.
File bobot 8B dari Ternary Bonsai yang dirilis kali ini hanya berukuran 1,75 GB, dan skor pengujian dasarnya mencapai 75,5, yang tidak hanya 5 poin lebih tinggi dari versi 1 bit mereka sendiri, tetapi juga secara signifikan unggul dalam "densitas kecerdasan" (kinerja yang diberikan per GB memori) dibandingkan model padat sejenis seperti Qwen3.
Rasio efisiensi energi dan kecepatan operasi adalah keunggulan utama lainnya dari seri ini. Di iPhone 17 Pro Max, versi 8B dapat berjalan dengan kecepatan hingga 27 tok/s, meningkatkan rasio efisiensi energi sekitar 3 hingga 4 kali.
Ini berarti bagi pengembang yang perlu menerapkan AI berkinerja tinggi di perangkat seperti ponsel dan laptop, mereka dapat memperoleh performa cerdas yang mendekati model lengkap dengan biaya memori yang sangat kecil.
Saat ini, model Ternary Bonsai telah mendukung secara native di perangkat Apple melalui kerangka kerja MLX. Bobot model didistribusikan dengan lisensi Apache 2.0.
(Sumber: BlockBeats)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • 8
  • 5
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
SushiSlippage
· 10jam yang lalu
{-1,0,+1} mengingatkan saya pada BinaryNet tahun lalu, tapi kali ini sepertinya benar-benar berhasil
Lihat AsliBalas0
HexiHoodie
· 10jam yang lalu
Rasio efisiensi energi meningkat 3-4 kali lipat, berarti daya tahan akhirnya tidak lagi kehilangan 50% dalam setengah jam
Lihat AsliBalas0
MevInRetrospect
· 10jam yang lalu
Apache 2.0 open source mendapatkan pujian, ini adalah open source yang sesungguhnya, tidak seperti beberapa yang hanya bikin sensasi
Lihat AsliBalas0
TheClarityAfterLiquidating
· 10jam yang lalu
27 tok/s di ponsel, lebih cepat daripada laptop saya dulu yang menjalankan 7B, zaman telah berubah
Lihat AsliBalas0
0XNightRun
· 10jam yang lalu
Dukungan asli MLX sangat penting, pengguna ekosistem Apple sangat gembira, tidak perlu repot-repot konversi lagi
Lihat AsliBalas0
PaperSculptureOctopusPosition
· 10jam yang lalu
Ternary Bonsai nama ini cukup menarik, bobot tiga nilai memang merupakan desain yang canggih seperti bonsai
Lihat AsliBalas0
AutumnSlopeCabin
· 10jam yang lalu
Sepersepuluh dari memori video? Dulu tidak pernah berani membayangkan, sekarang iPhone sudah bisa menjalankan model besar secara lokal.
Lihat AsliBalas0
RedTelephoneBoothRuins
· 10jam yang lalu
1.75GB menjalankan model 8B, rasio kompresinya terlalu gila, AI di perangkat mobile akhirnya bisa digunakan
Lihat AsliBalas0
  • Disematkan