1M AI News のモニタリングによると、カリフォルニア工科大学の数学者 Babak Hassibi が共同設立した AI ラボ PrismML は、ステルス期間を終了し、オープンソースの 1-bit Bonsai シリーズの大規模言語モデルを公開しました。フラッグシップモデルである 1-bit Bonsai 8B は 82 億パラメータを持ち、メモリ使用量はわずか 1.15 GB です。同クラスの 16-bit モデル（約 16 GB）に比べて約 14 倍圧縮されています。重みは Apache 2.0 ライセンスのもと HuggingFace で公開ダウンロードでき、さらに 4B（0.5 GB）と 1.7B（0.24 GB）の 2 つの小型モデルも同時にリリースされます。 Bonsai 8B はエンドツーエンドの真の 1-bit モデルで、埋め込み層、注意力層、MLP 層、出力ヘッドのすべてが重みを +1 または -1 でのみ表し、高精度の補助パッチは一切ありません。PrismML は、標準的なベンチマークにおける推論と言語理解の能力が、16-bit のフル精度モデルと同等であると述べています。コアとなる圧縮の数学は、チームがカリフォルニア工科大学で数年にわたって開発したもので、知的財産権はカリフォルニア工科大学に帰属し、PrismML は唯一の独占ライセンス保有者です。モデルは Google の v4 TPU で学習されています。 実測速度：M4 Pro Mac で 136 token/s、RTX 4090 で 440 token/s、iPhone 17 Pro Max で約 44 token/s。一方、標準的な 16-bit 8B モデルはどの iPhone にも搭載できません。エネルギー消費は 16-bit モデルに比べて約 4-5 倍低減されています。PrismML は、既存のハードウェアは 1-bit 推論のために設計されていないため、速度とエネルギー効率の優位性は主にメモリ使用量の縮小によるものだと指摘しています。もし将来、1-bit 用に設計されたハードウェアが登場すれば（加減算のみで乗算は不要）、効率はさらに 1 桁（オーダー）改善できる可能性があります。 PrismML は 1625 万ドルの SAFE およびシードラウンドの資金調達を完了し、投資家は Khosla Ventures、Cerberus Capital、そしてカリフォルニア工科大学です。Khosla Ventures の創業者 Vinod Khosla は、これを「これは小さな反復ではなく、大きな技術ブレークスルーであり、数学的ブレークスルーであり、単なるまた別の小さなモデルではありません」と述べました。
カリフォルニア工科大学のオープンソース1ビットモデルBonsai：8Bパラメータでわずか1.15GB、iPhone上で44トークン/秒を実現
1M AI News のモニタリングによると、カリフォルニア工科大学の数学者 Babak Hassibi が共同設立した AI ラボ PrismML は、ステルス期間を終了し、オープンソースの 1-bit Bonsai シリーズの大規模言語モデルを公開しました。フラッグシップモデルである 1-bit Bonsai 8B は 82 億パラメータを持ち、メモリ使用量はわずか 1.15 GB です。同クラスの 16-bit モデル（約 16 GB）に比べて約 14 倍圧縮されています。重みは Apache 2.0 ライセンスのもと HuggingFace で公開ダウンロードでき、さらに 4B（0.5 GB）と 1.7B（0.24 GB）の 2 つの小型モデルも同時にリリースされます。
Bonsai 8B はエンドツーエンドの真の 1-bit モデルで、埋め込み層、注意力層、MLP 層、出力ヘッドのすべてが重みを +1 または -1 でのみ表し、高精度の補助パッチは一切ありません。PrismML は、標準的なベンチマークにおける推論と言語理解の能力が、16-bit のフル精度モデルと同等であると述べています。コアとなる圧縮の数学は、チームがカリフォルニア工科大学で数年にわたって開発したもので、知的財産権はカリフォルニア工科大学に帰属し、PrismML は唯一の独占ライセンス保有者です。モデルは Google の v4 TPU で学習されています。
実測速度：M4 Pro Mac で 136 token/s、RTX 4090 で 440 token/s、iPhone 17 Pro Max で約 44 token/s。一方、標準的な 16-bit 8B モデルはどの iPhone にも搭載できません。エネルギー消費は 16-bit モデルに比べて約 4-5 倍低減されています。PrismML は、既存のハードウェアは 1-bit 推論のために設計されていないため、速度とエネルギー効率の優位性は主にメモリ使用量の縮小によるものだと指摘しています。もし将来、1-bit 用に設計されたハードウェアが登場すれば（加減算のみで乗算は不要）、効率はさらに 1 桁（オーダー）改善できる可能性があります。
PrismML は 1625 万ドルの SAFE およびシードラウンドの資金調達を完了し、投資家は Khosla Ventures、Cerberus Capital、そしてカリフォルニア工科大学です。Khosla Ventures の創業者 Vinod Khosla は、これを「これは小さな反復ではなく、大きな技術ブレークスルーであり、数学的ブレークスルーであり、単なるまた別の小さなモデルではありません」と述べました。