1M AIニュースによると、Caltechの数学者Babak Hassibiが共同設立したAIラボPrismMLはステルスモードから出て、オープンソースの1-bit Bonsaiシリーズの大規模言語モデルをリリースしました。フラッグシップモデルである1-bit Bonsai 8Bは8.2 billionのパラメータを備え、必要なメモリはわずか1.15 GBで、同等の16-bitモデル（約16 GB）と比べておよそ14倍圧縮されています。重みはApache 2.0ライセンスのもと、HuggingFaceでダウンロード可能で、さらに2つの小型モデルも用意されています：4B（0.5 GB）と1.7B（0.24 GB）。Bonsai 8Bは真のエンドツーエンドの1-bitモデルです。埋め込み層、注意（attention）層、MLP層、出力ヘッドのすべてが、+1または-1のみを用いた重みで表現されており、高精度のパッチは一切ありません。PrismMLは、標準ベンチマークにおける推論および言語理解の能力が、16-bitのフル精度モデルと同等だと主張しています。コアとなる圧縮の数学は、Caltechで数年間かけてチームが開発したもので、知的財産はCaltechが保有しており、そのためPrismMLが唯一の独占ライセンシーとなっています。モデルはGoogle v4 TPUで学習されました。計測された速度には、M4 Pro Macで136 tokens/s、RTX 4090で440 tokens/s、iPhone 17 Pro Maxで約44 tokens/sが含まれます。一方で、標準の16-bit 8Bモデルは、いかなるiPhoneにもロードできません。電力消費は、16-bitモデルと比べて約4-5倍削減されます。PrismMLは、既存のハードウェアは1-bit推論向けに設計されていないため、速度とエネルギー面の優位性は主にメモリ使用量の削減によるものだと述べています。もし将来、1-bit演算向けに特化したハードウェア（乗算を行わず、加算と減算のみで済むことが条件）が登場すれば、効率は1桁（order of magnitude）改善する可能性があります。PrismMLは、SAFEおよびシードラウンドで$16.25 millionを完了しており、投資家にはKhosla Ventures、Cerberus Capital、そしてCaltechが含まれます。Khosla Venturesの創業者Vinod Khoslaは、これについて「これは小さな反復ではなく、重要な技術的ブレークスルーであり、数学的なブレークスルーであって、単にもう一つの小型モデルではない」と述べました。
カリフォルニア工科大学がオープンソースのTrue 1-Bitモデル「Bonsai」を公開：8Bパラメータをわずか1.15GBで、iPhoneで44トークン/秒を実現
1M AIニュースによると、Caltechの数学者Babak Hassibiが共同設立したAIラボPrismMLはステルスモードから出て、オープンソースの1-bit Bonsaiシリーズの大規模言語モデルをリリースしました。フラッグシップモデルである1-bit Bonsai 8Bは8.2 billionのパラメータを備え、必要なメモリはわずか1.15 GBで、同等の16-bitモデル（約16 GB）と比べておよそ14倍圧縮されています。重みはApache 2.0ライセンスのもと、HuggingFaceでダウンロード可能で、さらに2つの小型モデルも用意されています：4B（0.5 GB）と1.7B（0.24 GB）。Bonsai 8Bは真のエンドツーエンドの1-bitモデルです。埋め込み層、注意（attention）層、MLP層、出力ヘッドのすべてが、+1または-1のみを用いた重みで表現されており、高精度のパッチは一切ありません。PrismMLは、標準ベンチマークにおける推論および言語理解の能力が、16-bitのフル精度モデルと同等だと主張しています。コアとなる圧縮の数学は、Caltechで数年間かけてチームが開発したもので、知的財産はCaltechが保有しており、そのためPrismMLが唯一の独占ライセンシーとなっています。モデルはGoogle v4 TPUで学習されました。計測された速度には、M4 Pro Macで136 tokens/s、RTX 4090で440 tokens/s、iPhone 17 Pro Maxで約44 tokens/sが含まれます。一方で、標準の16-bit 8Bモデルは、いかなるiPhoneにもロードできません。電力消費は、16-bitモデルと比べて約4-5倍削減されます。PrismMLは、既存のハードウェアは1-bit推論向けに設計されていないため、速度とエネルギー面の優位性は主にメモリ使用量の削減によるものだと述べています。もし将来、1-bit演算向けに特化したハードウェア（乗算を行わず、加算と減算のみで済むことが条件）が登場すれば、効率は1桁（order of magnitude）改善する可能性があります。PrismMLは、SAFEおよびシードラウンドで$16.25 millionを完了しており、投資家にはKhosla Ventures、Cerberus Capital、そしてCaltechが含まれます。Khosla Venturesの創業者Vinod Khoslaは、これについて「これは小さな反復ではなく、重要な技術的ブレークスルーであり、数学的なブレークスルーであって、単にもう一つの小型モデルではない」と述べました。