据1M AI News报道，由加州理工学院（Caltech）数学家Babak Hassibi共同创立的AI实验室PrismML已走出隐身状态，并发布了开源的1比特Bonsai系列大型语言模型。旗舰模型1比特Bonsai 8B拥有82亿参数，仅占用1.15 GB内存，其压缩程度大约比可比的16比特模型高14倍（约16 GB）。权重可在HuggingFace上根据Apache 2.0许可证下载，同时还有两个更小的模型：4B（0.5 GB）和1.7B（0.24 GB）。Bonsai 8B是一个真正的端到端1比特模型：嵌入层、注意力层、多层感知机（MLP）层和输出头都用仅+1或-1来表示权重，不包含任何高精度补丁。PrismML声称，在标准基准测试上的推理和语言理解能力可与16比特全精度模型相当。核心压缩数学由团队在加州理工学院多年研发完成，知识产权归加州理工学院所有，这使得PrismML成为唯一的独家许可方。该模型使用Google v4 TPU进行训练。测得速度包括：在M4 Pro Mac上每秒136个标记（tokens），在RTX 4090上每秒440个标记，以及在iPhone 17 Pro Max上约每秒44个标记；而标准的16比特8B模型无法加载到任何iPhone上。与16比特模型相比，能耗降低约4到5倍。PrismML指出，现有硬件并未为1比特推理而设计，速度和能耗优势主要来自于更低的内存占用；如果未来出现专门为1比特运算设计的硬件（仅需要加法和减法，不需要乘法），效率可能提升一个数量级。PrismML已完成总计1625万美元的SAFE轮和种子轮融资，投资方包括Khosla Ventures、Cerberus Capital以及加州理工学院。Khosla Ventures创始人Vinod Khosla表示：“这不是一次小幅迭代，而是一次重大的技术突破、一次数学突破，而不仅仅是又一个小模型。”
加州理工学院发布开源的True 1-Bit模型Bonsai：8亿参数，仅1.15GB，在iPhone上实现每秒44个Token
据1M AI News报道，由加州理工学院（Caltech）数学家Babak Hassibi共同创立的AI实验室PrismML已走出隐身状态，并发布了开源的1比特Bonsai系列大型语言模型。旗舰模型1比特Bonsai 8B拥有82亿参数，仅占用1.15 GB内存，其压缩程度大约比可比的16比特模型高14倍（约16 GB）。权重可在HuggingFace上根据Apache 2.0许可证下载，同时还有两个更小的模型：4B（0.5 GB）和1.7B（0.24 GB）。Bonsai 8B是一个真正的端到端1比特模型：嵌入层、注意力层、多层感知机（MLP）层和输出头都用仅+1或-1来表示权重，不包含任何高精度补丁。PrismML声称，在标准基准测试上的推理和语言理解能力可与16比特全精度模型相当。核心压缩数学由团队在加州理工学院多年研发完成，知识产权归加州理工学院所有，这使得PrismML成为唯一的独家许可方。该模型使用Google v4 TPU进行训练。测得速度包括：在M4 Pro Mac上每秒136个标记（tokens），在RTX 4090上每秒440个标记，以及在iPhone 17 Pro Max上约每秒44个标记；而标准的16比特8B模型无法加载到任何iPhone上。与16比特模型相比，能耗降低约4到5倍。PrismML指出，现有硬件并未为1比特推理而设计，速度和能耗优势主要来自于更低的内存占用；如果未来出现专门为1比特运算设计的硬件（仅需要加法和减法，不需要乘法），效率可能提升一个数量级。PrismML已完成总计1625万美元的SAFE轮和种子轮融资，投资方包括Khosla Ventures、Cerberus Capital以及加州理工学院。Khosla Ventures创始人Vinod Khosla表示：“这不是一次小幅迭代，而是一次重大的技术突破、一次数学突破，而不仅仅是又一个小模型。”