PrismMLが1.58ビットモデルのTernary Bonsaiをリリース、パラメータを9倍削減し、知能度は同類を上回る

robot
概要作成中
MEニュース、4月17日(UTC+8)、動察Beatingの監視によると、PrismMLはTernary Bonsaiシリーズの言語モデルを発表しました。1.58ビット(三値重み)技術を用いて、高性能を維持しつつモデルのGPUメモリ占有量を16ビットモデルの9分の1に削減しています。このシリーズは8B、4B、1.7Bの3つのパラメータ規模を含み、既にHugging Faceでオープンソース化され、Appleデバイスでネイティブに動作可能です。
いわゆる1.58ビットモデルは、ニューラルネットワークの重みを{-1、0、+1}の3つの値に制限したものを指します。従来の極限まで圧縮を追求した1ビットモデル(重みは{-1、+1}のみ)と比べて、「0」値を導入することで冗長な接続を効果的に排除し、非常に小さなサイズでも複雑な推論能力を保持できるようになっています。今回発表されたTernary Bonsai 8Bの重みファイルはわずか1.75GBで、ベンチマークの平均スコアは75.5に達し、自社の1ビットバージョンより5ポイント高く、「インテリジェンス密度」(1GBのGPUメモリあたりの性能寄与)においてもQwen3などの同類密なモデルを大きくリードしています。
エネルギー効率と動作速度はこのシリーズのもう一つの重要な強みです。iPhone 17 Pro Max上では、8Bバージョンの動作速度は27トーク/秒に達し、エネルギー効率比は約3〜4倍向上しています。これは、スマートフォンやノートパソコンなどのエッジデバイス上で高性能AIを展開する開発者にとって、最小限のメモリコストでほぼ完全な精度のモデルのインテリジェンス性能を得られることを意味します。
現在、Ternary BonsaiモデルはAppleデバイス上でMLXフレームワークを通じてネイティブサポートされています。モデルの重みはApache 2.0ライセンスで配布されています。
(出典:BlockBeats)
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 9
  • 10
  • 共有
コメント
コメントを追加
コメントを追加
OldKeyboardTraitor
· 4時間前
重みの三値化は実は二値化よりもはるかに難しい。0の存在により情報の保持がより柔軟になり、PrismMLのこのステップの選択が正確である。
原文表示返信0
BoredInBlockspace
· 4時間前
1.75GBに8Bパラメータを詰め込み、今後はローカルLLMが本格的に常態化するだろう
原文表示返信0
0xLateDiner
· 4時間前
1.58ビットの重みはかなり厳しいですね、VRAMを直接9分の1に削減しています。 この圧縮率はかなりのものです
原文表示返信0
GateUser-0f33f9ef
· 4時間前
{-1,0,+1}三値量子化、数学的に洗練されたエンジニアリングも実現した
原文表示返信0
ProofOfSnack
· 5時間前
Ternary Bonsai この名前は素晴らしいですね、三値はまるで盆栽の剪定のように、繁雑さを取り除きシンプルにすることを表しています。
原文表示返信0
BerryColdWallet
· 5時間前
iPhone上で8Bモデルを27トーク/秒で動かす?Appleユーザー大喜び
原文表示返信0
GateUser-e1cfc287
· 5時間前
エネルギー効率が3〜4倍向上、エッジAIの電力消費の不安が解消される
原文表示返信0
L2Mailman
· 5時間前
MLXネイティブサポート、Appleエコシステムのクローズドループにもう一つのピースが加わる
原文表示返信0
FoldedCosmosCat
· 5時間前
オープンソース+Apache 2.0、PrismMLのこの動きで展望が広がった
原文表示返信0
もっと見る
  • ピン留め