PrismMLは1.58ビットモデルのTernary Bonsaiをリリースし、パラメータを9倍削減、知能度は同類を上回る

robot
概要作成中

MEニュース、4月17日(UTC+8)、動察Beatingの監視によると、PrismMLはTernary Bonsaiシリーズの言語モデルを発表しました。1.58ビット(三進数重み)技術を用いて、高性能を維持しつつモデルのGPUメモリ占有量を16ビットモデルの9分の1に削減しています。このシリーズは8B、4B、1.7Bの3つのパラメータ規模を含み、既にHugging Faceでオープンソース化され、Appleデバイスでネイティブに動作可能です。

いわゆる1.58ビットモデルは、ニューラルネットワークの重みを{-1、0、+1}の3つの値に制限したものです。従来の極限まで圧縮を追求した1ビットモデル(重みは{-1、+1}のみ)と比べて、「0」値を導入することで冗長な接続を効果的に排除し、非常に小さなサイズでも複雑な推論能力を保持できます。

今回発表されたTernary Bonsai 8Bの重みファイルはわずか1.75GBで、ベンチマークの平均スコアは75.5に達します。これは自社の1ビットバージョンより5ポイント高く、「インテリジェンス密度」(1GBのGPUメモリあたりの性能貢献)においてもQwen3などの同類密なモデルを大きく上回っています。

エネルギー効率と動作速度もこのシリーズのもう一つの重要な強みです。iPhone 17 Pro Max上では、8Bバージョンの動作速度は27トーク/秒に達し、エネルギー効率は約3〜4倍向上しています。これは、スマートフォンやノートパソコンなどのエッジデバイス上で高性能AIを展開する開発者にとって、ほぼ完全な精度のモデルを少ないメモリコストで実現できることを意味します。

現在、Ternary BonsaiモデルはAppleデバイス上でMLXフレームワークを通じてネイティブサポートされています。モデルの重みはApache 2.0ライセンスで配布されています。

(出典:BlockBeats)

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 8
  • 5
  • 共有
コメント
コメントを追加
コメントを追加
SushiSlippage
· 10時間前
{-1,0,+1}は私にかつてのBinaryNetを思い出させるが、今回は本当にうまくいったようだ
原文表示返信0
HexiHoodie
· 10時間前
エネルギー効率比が3〜4倍向上し、つまり航続距離はついに30分で電池残量が50%減ることはなくなる。
原文表示返信0
MevInRetrospect
· 10時間前
Apache 2.0オープンソースは高評価です。これが本物のオープンソースであり、一部の派手な見せかけとは違います。
原文表示返信0
TheClarityAfterLiquidating
· 10時間前
27 tok/sはスマートフォンで、私がかつてノートパソコンで7Bを動かしたときよりも速い、時代は変わった
原文表示返信0
0XNightRun
· 10時間前
MLXネイティブサポートは非常に重要であり、Appleエコシステムのユーザーは大喜びです。変換に煩わされる必要がなくなりました。
原文表示返信0
PaperSculptureOctopusPosition
· 10時間前
Ternary Bonsaiこの名前はなかなか面白いですね、三値の重み付けは確かに盆栽レベルの巧妙な設計です
原文表示返信0
AutumnSlopeCabin
· 10時間前
1分の1のビデオメモリ?以前は考えられなかったが、今やiPhoneでも大規模モデルをローカルで動かせる。
原文表示返信0
RedTelephoneBoothRuins
· 10時間前
1.75GBで8Bモデルを実行、圧縮率があまりにもひどい、モバイル端末のAIがついに使えるようになった
原文表示返信0
  • ピン留め