vkhosla 介绍 1-bit Bonsai 8B 模型,内存占用仅1.15GB

ME News 消息,4 月 1 日(UTC+8),近日,作者 vkhosla 在社交媒体上介绍了一个名为 1-bit Bonsai 8B 的 1 比特权重模型。据其介绍,该模型内存占用仅为 1.15 GB,并且其智能密度(intelligence density)据称超过其全精度对应模型的 10 倍以上。文中观点指出,在边缘硬件上,该模型体积缩小了 14 倍,速度提升了 8 倍,能效提高了 5 倍,同时与其他模型相比仍保持竞争力。消息还提到,该模型比谷歌前一天宣布的模型具有更好的压缩性、更快的速度、更小的体积和更高的能效。原文未提供模型的具体性能对比基准、发布方、技术实现细节或完整的评估结果。(来源:InFoQ)

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论