PrismML推出1.58比特模型Ternary Bonsai,参数缩减9倍智能度反超同类

robot
摘要生成中
ME News 消息,4 月 17 日(UTC+8),据 动察 Beating 监测,PrismML 发布 Ternary Bonsai 系列语言模型,通过 1.58 比特(ternary weights)技术,在保持高性能的同时将模型显存占用缩减至 16 比特模型的九分之一。该系列包含 8B、4B 和 1.7B 三种参数规模,现已在 Hugging Face 开源并支持苹果设备原生运行。 所谓 1.58 比特模型,是指将神经网络中的权重限制在 {-1, 0, +1} 三个值。相比此前追求极致压缩的 1 比特模型(权重仅为 {-1, +1}),引入「0」值能够有效剔除冗余连接,让模型在极小的体积下依然保留复杂的推理能力。此次发布的 Ternary Bonsai 8B 权重文件仅 1.75 GB,其基准测试均分达到 75.5,不仅比自家的 1 比特版本高出 5 分,甚至在「智能密度」(每 GB 显存贡献的性能)上大幅领先 Qwen3 等同类稠密模型。 能效比和运行速度是该系列的另一核心优势。在 iPhone 17 Pro Max 上,8B 版本运行速度可达 27 tok/s,能效比提升约 3 至 4 倍。这对于需要在手机、笔记本等端侧设备上部署高性能 AI 的开发者而言,意味着可以用极小的内存代价换取接近完整精度模型的智能表现。 目前,Ternary Bonsai 模型已在 Apple 设备上通过 MLX 框架实现原生支持。模型权重采用 Apache 2.0 协议分发。 (来源:BlockBeats)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 9
  • 10
  • 分享
评论
请输入评论内容
请输入评论内容
旧键盘叛徒
· 4小时前
权重三值化其实比二值化难很多,0的存在让信息保留更灵活,PrismML这步选得准
回复0
Bored in Blockspace
· 4小时前
1.75GB塞下8B参数,以后本地LLM真成常态了
回复0
0xLateDiner
· 4小时前
1.58比特权重太狠了,显存直接砍到九分之一,这压缩率有点东西
回复0
GateUser-0f33f9ef
· 5小时前
{-1,0,+1}三值量化,数学优雅工程也落地了
回复0
ProofOfSnack
· 5小时前
Ternary Bonsai这名字起得妙,三值就像盆栽修剪,去繁就简
回复0
莓果冷钱包
· 5小时前
在iPhone上跑8B模型27 tok/s?苹果用户狂喜
回复0
GateUser-e1cfc287
· 5小时前
能效比提升3-4倍,边缘AI的功耗焦虑有解了
回复0
L2 Courier
· 5小时前
MLX原生支持,苹果生态闭环又添一块拼图
回复0
折叠宇宙猫
· 5小时前
开源+Apache 2.0,PrismML这波格局打开了
回复0
查看更多