Caltech Open Source Model 1-bit Bonsai: 8B parameter hanya 1,15GB, berjalan di iPhone hingga 44 tok/s

Berita dari JiJie.com: berdasarkan pemantauan 1M AI News, laboratorium AI PrismML yang didirikan bersama oleh Babak Hassibi, seorang matematikawan dari California Institute of Technology, telah mengakhiri masa sembunyinya (invisibility period) dan merilis secara open-source rangkaian model bahasa besar 1-bit Bonsai. Model unggulan 1-bit Bonsai 8B memiliki 8,2 miliar parameter, dengan penggunaan memori hanya 1,15 GB, yang mengompresi sekitar 14 kali dibanding model 16-bit pada kelas yang sama (sekitar 16 GB). Bobotnya dibuka untuk diunduh di HuggingFace dengan lisensi Apache 2.0, sekaligus merilis dua model yang lebih kecil: 4B (0,5 GB) dan 1,7B (0,24 GB). Bonsai 8B adalah model 1-bit end-to-end yang benar: lapisan embedding, lapisan attention, lapisan MLP, dan output head semuanya hanya menggunakan bobot yang direpresentasikan dengan +1 atau -1, tanpa patch presisi tinggi apa pun. PrismML mengklaim bahwa kemampuan inferensi dan pemahaman bahasa pada benchmark standar setara dengan model penuh presisi 16-bit. Matematik inti untuk kompresi dikembangkan oleh tim selama bertahun-tahun di California Institute of Technology, dengan hak kekayaan intelektual dimiliki oleh California Institute of Technology; PrismML adalah satu-satunya pihak pemegang lisensi eksklusif. Model dilatih menggunakan Google v4 TPU. Hasil uji kecepatan: di M4 Pro Mac 136 tok/s, di RTX 4090 440 tok/s, dan di iPhone 17 Pro Max sekitar 44 tok/s, sementara model standar 16-bit 8B tidak bisa dimuat pada iPhone apa pun. Konsumsi daya turun sekitar 4–5 kali dibanding model 16-bit. PrismML menyatakan bahwa perangkat keras yang ada tidak dirancang untuk inferensi 1-bit; keunggulan dalam kecepatan dan konsumsi daya terutama berasal dari pengecilan penggunaan memori; jika di masa depan muncul perangkat keras yang didesain khusus untuk inferensi 1-bit (cukup operasi penjumlahan dan pengurangan, tanpa perkalian), efisiensi masih dapat ditingkatkan lagi hingga satu orde besaran. PrismML telah menyelesaikan putaran pendanaan SAFE dan seed senilai 16,25 juta dolar AS, dengan investor Khosla Ventures, Cerberus Capital, dan California Institute of Technology. Vinod Khosla, pendiri Khosla Ventures, mengatakan bahwa ini “bukan iterasi kecil, melainkan lompatan teknologi yang besar, terobosan matematika, bukan sekadar model kecil lainnya.”