Darkbloom計畫:將閒置的Mac轉變為AI基礎設施
每次使用AI工具時,請求都會經過多層基礎設施,才到達實際執行工作的硬體。
流程通常穿越不同層級的資料中心、冷卻系統、GPU硬體和層層利潤 → 全部都包含在你支付的費用中。
@eigenlabs團隊稱之為推理稅。
Darkbloom是他們為解決此問題的研究計畫。
前提:已存在超過1億台Apple Silicon Mac,已付費,且大部分時間閒置。若將這些計算資源組織成一個可用的推理網絡,具有真正的隱私保障和更佳的經濟性,會是怎樣?
- - - - -
為何選擇Apple Silicon
Apple Silicon不僅數量充足,而且在推理方面在技術上也非常適合:
• 統一記憶體:CPU與GPU共享同一池,消除獨立GPU瓶頸
• 模型效率:Apple Silicon只處理每個請求實際需要的模型部分,而非整個模型 → 較大模型運行得更快、更便宜
• 能源效率:約30W即可運行一個60B模型,而資料中心GPU則需多倍電力
• 對Mac用戶的邊際成本:主要是電力,硬體已經購買
- - - - -
困難之處:建立可信任
一個基本問題是:如果提示在陌生人的Mac上運行,什麼能阻止他們讀取?
Darkbloom的解答是讓竊聽在架構上不可能,而非僅在合約上禁止:
• 調試器:在核心層阻擋
• 記憶體讀取:通過Hardened Runtime拒絕
查看原文