Darkbloom 项目:将空闲的 Mac 转变为 AI 基础设施
每次使用 AI 工具时,请求会经过多层基础设施,才到达实际执行工作的硬件。
流程通常穿越不同层级的数据中心、冷却系统、GPU 硬件和利润层 → 所有这些都包含在你的支付中。
@eigenlabs 团队称之为推理税。
Darkbloom 是他们为解决这一问题的研究计划。
前提:已有超过 1 亿台 Apple Silicon Mac,已付费,且大部分时间处于空闲状态。假如这些计算资源可以被组织成一个可用的推理网络,具有真正的隐私保障和更好的经济性,会怎样?
- - - - -
为什么选择 Apple Silicon
Apple Silicon 不仅资源丰富,而且在推理方面在技术上也非常适合:
• 统一内存:CPU 和 GPU 共享同一池内存,消除离散 GPU 的瓶颈
• 模型效率:Apple Silicon 仅处理每次请求实际需要的模型部分,而不是全部 → 更大模型运行得更快、更便宜
• 能源效率:运行一个 60B 模型约需 30W,而数据中心 GPU 需要多倍的电力
• 对 Mac 用户的边际成本:主要是电费,因为硬件已购
- - - - -
难点:确保可信
一个基本问题是:如果提示在陌生人的 Mac 上运行,什么能阻止他们读取内容?
Darkbloom 的答案是让窃取行为在架构上变得不可能,而不仅仅是合同上禁止:
查看原文