PrismML推出1.58比特模型Ternary Bonsai,参数缩减9倍智能度反超同类

robot
摘要生成中
ME News 消息,4 月 17 日(UTC+8),据 动察 Beating 监测,PrismML 发布 Ternary Bonsai 系列语言模型,通过 1.58 比特(ternary weights)技术,在保持高性能的同时将模型显存占用缩减至 16 比特模型的九分之一。该系列包含 8B、4B 和 1.7B 三种参数规模,现已在 Hugging Face 开源并支持苹果设备原生运行。 所谓 1.58 比特模型,是指将神经网络中的权重限制在 {-1, 0, +1} 三个值。相比此前追求极致压缩的 1 比特模型(权重仅为 {-1, +1}),引入「0」值能够有效剔除冗余连接,让模型在极小的体积下依然保留复杂的推理能力。此次发布的 Ternary Bonsai 8B 权重文件仅 1.75 GB,其基准测试均分达到 75.5,不仅比自家的 1 比特版本高出 5 分,甚至在「智能密度」(每 GB 显存贡献的性能)上大幅领先 Qwen3 等同类稠密模型。 能效比和运行速度是该系列的另一核心优势。在 iPhone 17 Pro Max 上,8B 版本运行速度可达 27 tok/s,能效比提升约 3 至 4 倍。这对于需要在手机、笔记本等端侧设备上部署高性能 AI 的开发者而言,意味着可以用极小的内存代价换取接近完整精度模型的智能表现。 目前,Ternary Bonsai 模型已在 Apple 设备上通过 MLX 框架实现原生支持。模型权重采用 Apache 2.0 协议分发。 (来源:BlockBeats)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 8
  • 5
  • 分享
评论
请输入评论内容
请输入评论内容
Sushi Slippage
· 11小时前
{-1,0,+1}让我想起当年的BinaryNet,但这次好像真的work了
回复0
Hexi Hoodie
· 11小时前
能效比提升3-4倍,意味着续航终于不会半小时掉电50%了
回复0
MEV的后视镜
· 11小时前
Apache 2.0开源好评,这才是真开源,不像某些搞噱头
回复0
清仓后的清醒
· 11小时前
27 tok/s在手机上,比我当年笔记本跑7B还快,时代变了
回复0
0x夜跑
· 11小时前
MLX原生支持很关键,苹果生态用户狂喜,不用折腾转换了
回复0
纸雕章鱼仓位
· 11小时前
Ternary Bonsai这名字挺有意思,三值权重确实是棵盆景级的精巧设计
回复0
秋坡小木屋
· 11小时前
九分之一显存?以前想都不敢想,现在iPhone都能本地跑大模型了
回复0
红电话亭废墟
· 11小时前
1.75GB跑8B模型,这压缩率太离谱了,移动端AI终于能用了
回复0