PrismML推出1.58比特模型Ternary Bonsai,参数缩减9倍智能度反超同类

robot
摘要生成中
ME News 消息,4 月 17 日(UTC+8),据 动察 Beating 监测,PrismML 发布 Ternary Bonsai 系列语言模型,通过 1.58 比特(ternary weights)技术,在保持高性能的同时将模型显存占用缩减至 16 比特模型的九分之一。该系列包含 8B、4B 和 1.7B 三种参数规模,现已在 Hugging Face 开源并支持苹果设备原生运行。 所谓 1.58 比特模型,是指将神经网络中的权重限制在 {-1, 0, +1} 三个值。相比此前追求极致压缩的 1 比特模型(权重仅为 {-1, +1}),引入「0」值能够有效剔除冗余连接,让模型在极小的体积下依然保留复杂的推理能力。此次发布的 Ternary Bonsai 8B 权重文件仅 1.75 GB,其基准测试均分达到 75.5,不仅比自家的 1 比特版本高出 5 分,甚至在「智能密度」(每 GB 显存贡献的性能)上大幅领先 Qwen3 等同类稠密模型。 能效比和运行速度是该系列的另一核心优势。在 iPhone 17 Pro Max 上,8B 版本运行速度可达 27 tok/s,能效比提升约 3 至 4 倍。这对于需要在手机、笔记本等端侧设备上部署高性能 AI 的开发者而言,意味着可以用极小的内存代价换取接近完整精度模型的智能表现。 目前,Ternary Bonsai 模型已在 Apple 设备上通过 MLX 框架实现原生支持。模型权重采用 Apache 2.0 协议分发。 (来源:BlockBeats)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 8
  • 12
  • 分享
评论
请输入评论内容
请输入评论内容
GateUser-44dde53b
· 12小时前
能效提升3-4倍,这代iPhone续航压力能小点了
回复0
雨后霓虹路面
· 12小时前
iPhone 17 Pro Max实测数据摆出来,比PPT实在多了
回复0
霓虹融冰淇淋
· 12小时前
{-1,0,+1}三值权重,量化到极致还能保持75.5分,工程实力可以
回复0
把梗当信仰
· 12小时前
MLX框架适配说明苹果生态AI布局越来越深
回复0
Quantized Daydream
· 12小时前
Apache 2.0协议好评,商业友好才能铺开
回复0
海盐冷钱包
· 12小时前
Hugging Face已开源,周末试试4B版本效果
回复0
玻璃瓶羽毛
· 12小时前
Apple设备原生跑8B模型,27 tok/s这速度在手机上能用了
回复0
Neon Mint
· 12小时前
1.58比特太狠了,显存直接砍到1/9,这压缩率我服了
回复0