vkhoslaが1ビットBonsai 8Bモデルを紹介、メモリ使用量はわずか1.15GB

MEニュース メッセージ、4月1日（UTC+8）、近日、著者vkhoslaがソーシャルメディア上で「1-bit Bonsai 8B」という名の1ビット重みモデルを紹介した。紹介によれば、このモデルのメモリ使用量はわずか1.15 GBであり、そしてそのインテリジェンス密度（intelligence density）は、フル精度対応モデルの10倍以上だという。文中の見解では、このモデルはエッジ・ハードウェア上で体積が14分の1に縮小し、速度は8倍向上、エネルギー効率は5倍向上し、さらに他のモデルと比べてもなお競争力を維持しているという。ニュースではまた、このモデルは前日にGoogleが発表したモデルよりも圧縮性が良く、速度が速く、体積が小さく、エネルギー効率も高いと述べられている。原文は、モデルの具体的な性能比較ベンチマーク、発表者、技術実装の詳細、または完全な評価結果は提示していない。（出所：InFoQ）