简而言之PrismML从隐匿状态中崭露头角，并发布了Bonsai，这是一款体积很小的开源AI模型。它在自身规模之内展现出强大的智能，并且能够在消费级硬件上运行。总部位于加利福尼亚的PrismML已发布了一套新的1-bit Bonsai模型家族，旨在把先进智能直接交付给人们生活和工作的设备，而不是把AI局限在大型数据中心中 PrismML从在Caltech开展的研究中发展而来，该机构表示，其工作重点在于最大化“智能密度”，即衡量一个模型在单位规模和部署占用空间下能够提供的有用能力。该思路与传统的AI开发形成对比：传统AI开发通常强调通过增大模型规模和提高参数数量来追求更强性能，但代价往往是可部署性和效率的下降。该实验室的旗舰模型是1-bit Bonsai 8B，它在所有组件上采用完整的1-bit设计，包括嵌入层、注意力层、MLP层以及输出头，并且没有任何更高精度的兜底层。该模型体积为1.15 GB，相较于同一参数类别中的可比16-bit模型大约小了14倍；但PrismML称其在标准基准测试中依然保持了具有竞争力的表现。较小的体积使其能够部署到iPhone、iPad和Mac等设备上，以及标准GPU上，相比传统的大规模模型，它能够实现更快的推理速度，并降低内存使用。PrismML强调，这一突破不仅关乎性能，也关乎AI能够在哪里运行。更小、更高效的模型带来更低的延迟应用，通过设备端计算增强隐私，并在离线或带宽受限环境中仍能保持持续可用性 潜在应用包括持续运行的设备端代理、实时机器人、企业级copilot，以及为安全或资源受限场景设计的AI原生工具。PrismML认为，集中式的智能会扩展AI的设计空间，使系统更加灵敏、可靠，并且能够更广泛地部署。## 扩展Bonsai：更小的1-Bit模型将效率与智能延伸至边缘设备除Bonsai 8B之外，PrismML还推出了更小的模型1-bit Bonsai 4B和1.7B，它们将相同的效率与智能密度理念应用于更小的模型规模。早期演示显示，该系列在吞吐量、能源效率以及基准测试的准确性方面表现出色。该实验室还指出，这些模型在当前的商用硬件上运行效果良好，而面向1-bit推理进行优化的未来设备有望带来更显著的效率提升。PrismML的发布体现了AI开发更广泛的转变：相较于单纯追求规模，强调的是集中式智能与可移植性。该实验室展望了一个未来：先进AI能够在云端和边缘设备之间无缝运行，使智能系统在任何需要的地方都能被使用。1-bit Bonsai模型在Apache 2.0许可下提供，支持在Apple设备、NVIDIA GPU以及多种其他平台上部署。
集中智能：新型盆栽AI模型家族实现超越数据中心的高性能AI
简而言之
PrismML从隐匿状态中崭露头角，并发布了Bonsai，这是一款体积很小的开源AI模型。它在自身规模之内展现出强大的智能，并且能够在消费级硬件上运行。
PrismML从在Caltech开展的研究中发展而来，该机构表示，其工作重点在于最大化“智能密度”，即衡量一个模型在单位规模和部署占用空间下能够提供的有用能力。该思路与传统的AI开发形成对比：传统AI开发通常强调通过增大模型规模和提高参数数量来追求更强性能，但代价往往是可部署性和效率的下降。
该实验室的旗舰模型是1-bit Bonsai 8B，它在所有组件上采用完整的1-bit设计，包括嵌入层、注意力层、MLP层以及输出头，并且没有任何更高精度的兜底层。该模型体积为1.15 GB，相较于同一参数类别中的可比16-bit模型大约小了14倍；但PrismML称其在标准基准测试中依然保持了具有竞争力的表现。较小的体积使其能够部署到iPhone、iPad和Mac等设备上，以及标准GPU上，相比传统的大规模模型，它能够实现更快的推理速度，并降低内存使用。
PrismML强调，这一突破不仅关乎性能，也关乎AI能够在哪里运行。更小、更高效的模型带来更低的延迟应用，通过设备端计算增强隐私，并在离线或带宽受限环境中仍能保持持续可用性
潜在应用包括持续运行的设备端代理、实时机器人、企业级copilot，以及为安全或资源受限场景设计的AI原生工具。PrismML认为，集中式的智能会扩展AI的设计空间，使系统更加灵敏、可靠，并且能够更广泛地部署。
扩展Bonsai：更小的1-Bit模型将效率与智能延伸至边缘设备
除Bonsai 8B之外，PrismML还推出了更小的模型1-bit Bonsai 4B和1.7B，它们将相同的效率与智能密度理念应用于更小的模型规模。早期演示显示，该系列在吞吐量、能源效率以及基准测试的准确性方面表现出色。该实验室还指出，这些模型在当前的商用硬件上运行效果良好，而面向1-bit推理进行优化的未来设备有望带来更显著的效率提升。
PrismML的发布体现了AI开发更广泛的转变：相较于单纯追求规模，强调的是集中式智能与可移植性。该实验室展望了一个未来：先进AI能够在云端和边缘设备之间无缝运行，使智能系统在任何需要的地方都能被使用。1-bit Bonsai模型在Apache 2.0许可下提供，支持在Apple设备、NVIDIA GPU以及多种其他平台上部署。