広場
最新
注目
ニュース
プロフィール
ポスト
0xRick0
2026-06-24 02:21:19
フォロー
面白いオープンソースプロジェクト AirLLM
推論のメモリ使用量を最適化し、70Bの大規模モデルを単一の4GのGPUメモリで動作させる
無量化、蒸留、剪定を使用しない。
8Gのメモリ上で405BのLlama3.1を動作させる
さらにGLM 5.2も欲しい。まさか私の40+Gの共有メモリでも700+Bを動かせるのか？
Star🌟 21.3k
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については
免責事項
をご覧ください。
報酬
いいね
コメント
リポスト
共有
コメント
コメントを追加
コメントを追加
コメント
コメントなし
人気の話題
もっと見る
#
SKHynixTopsKOSPIByMarketCap
418.22K 人気度
#
EthereumFoundationRestructuresForEfficiency
94.26M 人気度
#
IsraelStrikesIranBTCPlunges
62.46K 人気度
#
WorldCup🏴vs🇧🇷
255.23K 人気度
#
TradFiCFDGoldMaster
2.18M 人気度
ピン留め
サイトマップ
面白いオープンソースプロジェクト AirLLM
推論のメモリ使用量を最適化し、70Bの大規模モデルを単一の4GのGPUメモリで動作させる
無量化、蒸留、剪定を使用しない。
8Gのメモリ上で405BのLlama3.1を動作させる
さらにGLM 5.2も欲しい。まさか私の40+Gの共有メモリでも700+Bを動かせるのか？
Star🌟 21.3k