一個很有意思的開源項目 AirLLM


優化推理內存使用,讓70B的大模型能在單張顯存4G的顯卡上運行
無量化、蒸餾和剪枝。
8G顯存上運行405B的Llama3.1
更想要 GLM 5.2了。豈不是我這40+G的共享顯存也能跑 700+B了?
Star🌟 21.3k
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆