一个很有意思的开源项目 AirLLM


优化推理内存使用,让70B的大模型能在单张显存4G的显卡上运行
无量化、蒸馏和剪枝。
8G显存上运行405B的Llama3.1
更想要 GLM 5.2了。岂不是我这40+G的共享显存也能跑 700+B了?
Star🌟 21.3k
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论