Project Darkbloom: 使われていないMacをAIインフラに変える
AIツールが使われるたびに、そのリクエストは実際のハードウェアに到達するまで複数のインフラ層を通過します。
流れは通常、データセンター、冷却システム、GPUハードウェア、そしてマージン層を横断します → すべてがあなたが支払う料金に組み込まれています。
@eigenlabsチームはこれを推論税と呼んでいます。
Darkbloomはそれに対処するための研究イニシアチブです。
前提:既に1億以上のApple Silicon Macが存在し、すでに支払われており、ほとんどの時間アイドル状態です。もしその計算能力を、プライバシー保証とより良い経済性を持つ使える推論ネットワークに組織化できたらどうでしょうか?
- - - - -
なぜApple Siliconか
Apple Siliconは単に豊富なだけでなく、推論にとって重要な点で技術的にも適しています:
• 統合メモリ:CPUとGPUが同じプールを共有し、個別のGPUボトルネックを排除
• モデル効率:Apple Siliconはリクエストごとに必要な部分だけを処理し、全体を処理しない → より大きなモデルも高速かつ安価に動作
• 電力効率:60Bモデルを動かすのに約30W、データセンターのGPUではそれの何倍も必要
• Mac所有者の限界コスト:主に電気
原文表示