Kecerdasan Terfokus: Keluarga Model Bonsai AI Baru Memungkinkan AI Berkinerja Tinggi di Luar Pusat Data

Singkatnya

PrismML muncul dari balik layar dan meluncurkan Bonsai, sebuah model AI open-source kecil yang menunjukkan kecerdasan kuat sesuai ukurannya dan mampu dijalankan pada perangkat keras konsumen.

PrismML, sebuah lab riset AI berbasis di California, telah mengungkap keluarga baru model Bonsai 1-bit yang dirancang untuk menghadirkan kecerdasan tingkat lanjut langsung ke perangkat tempat orang tinggal dan bekerja, alih-alih membatasi AI pada pusat data besar

Berasal dari riset yang dilakukan di Caltech, PrismML mengatakan pekerjaannya berfokus pada memaksimalkan “kepadatan kecerdasan,” sebuah ukuran kemampuan berguna yang dapat diberikan sebuah model per unit ukuran dan jejak penggunaan saat diterapkan. Pendekatan ini berbeda dengan pengembangan AI tradisional, yang biasanya menekankan peningkatan ukuran model dan jumlah parameter dengan mengorbankan kemampuan penerapan serta efisiensi.

Model unggulan lab, 1-bit Bonsai 8B, menampilkan desain 1-bit penuh di seluruh komponen, termasuk embedding, layer perhatian, layer MLP, dan output head, tanpa lapisan cadangan dengan presisi lebih tinggi. Pada 1,15 GB, model ini kira-kira 14 kali lebih kecil dibanding model 16-bit yang sebanding dalam kelas parameter yang sama, namun PrismML melaporkan bahwa model ini tetap mempertahankan performa kompetitif di berbagai benchmark standar. Ukuran yang lebih ringkas memungkinkan penerapan pada perangkat seperti iPhone, iPad, dan Mac, serta GPU standar, memberikan inferensi yang lebih cepat dan penggunaan memori yang lebih rendah dibanding model skala besar tradisional.

PrismML menekankan bahwa terobosan ini bukan hanya tentang performa, tetapi juga tentang di mana AI bisa beroperasi. Model yang lebih kecil dan efisien memungkinkan aplikasi dengan latensi lebih rendah, peningkatan privasi melalui komputasi di perangkat (on-device), dan tetap berfungsi di lingkungan offline atau yang memiliki keterbatasan bandwidth

Potensi penerapannya meliputi agen persisten di perangkat (on-device), robotika real-time, copilots perusahaan, dan alat yang native AI yang dirancang untuk situasi yang aman atau terbatas sumber daya. PrismML berargumen bahwa kecerdasan yang terkonsentrasi memperluas ruang desain untuk AI, membuat sistem lebih responsif, lebih andal, dan mudah diterapkan secara luas.

Memperluas Bonsai: Model 1-Bit yang Lebih Kecil Memperpanjang Efisiensi dan Kecerdasan ke Perangkat Tepi (Edge)

Selain Bonsai 8B, PrismML telah memperkenalkan model yang lebih kecil, 1-bit Bonsai 4B dan 1,7B, yang memperluas prinsip efisiensi dan kepadatan kecerdasan yang sama ke ukuran model yang lebih kecil. Demonstrasi awal menunjukkan throughput tinggi, efisiensi energi, dan akurasi benchmark yang kompetitif di seluruh keluarga model. Lab juga mencatat bahwa model-model tersebut berjalan efektif pada perangkat keras komersial yang ada saat ini, dan bahwa perangkat masa depan yang dioptimalkan untuk inferensi 1-bit bisa memberikan peningkatan efisiensi yang lebih besar.

Rilis PrismML mewakili pergeseran yang lebih luas dalam pengembangan AI, dengan menekankan kecerdasan yang terkonsentrasi dan portabilitas dibandingkan sekadar skala. Lab membayangkan masa depan di mana AI canggih beroperasi secara mulus di perangkat cloud dan edge, sehingga sistem cerdas bisa diakses di mana pun dibutuhkan. Model Bonsai 1-bit tersedia di bawah lisensi Apache 2.0, mendukung penerapan di perangkat Apple, GPU NVIDIA, dan berbagai platform lainnya.