AIツールが使われるたびに、そのリクエストは実際のハードウェアに到達するまで複数のインフラ層を通過します。
流れは通常、データセンター、冷却システム、GPUハードウェア、そしてマージン層を横断します → すべてがあなたが支払う料金に組み込まれています。
@eigenlabsチームはこれを推論税と呼んでいます。
Darkbloomはそれに対処するための研究イニシアチブです。
前提：既に1億以上のApple Silicon Macが存在し、すでに支払われており、ほとんどの時間アイドル状態です。もしその計算能力を、プライバシー保証とより良い経済性を持つ使える推論ネットワークに組織化できたらどうでしょうか？
- - - - -
なぜApple Siliconか
Apple Siliconは単に豊富なだけでなく、推論にとって重要な点で技術的にも適しています：
• 統合メモリ：CPUとGPUが同じプールを共有し、個別のGPUボトルネックを排除
• モデル効率：Apple Siliconはリクエストごとに必要な部分だけを処理し、全体を処理しない → より大きなモデルも高速かつ安価に動作
• 電力効率：60Bモデルを動かすのに約30W、データセンターのGPUではそれの何倍も必要
• Mac所有者の限界コスト：主に電気代、ハードウェアはすでに購入済み
- - - - -
難しい部分：信頼性を高める
基本的な疑問は、「見知らぬMacでプロンプトを実行した場合、何がそれを読まれるのを防ぐのか？」です。
Darkbloomの答えは、覗き見をアーキテクチャ的に不可能にし、契約上禁止するだけではありません：
• デバッガー：カーネルレベルでブロック
• メモリ読み取り：Hardened Runtimeを通じて拒否
• バイナリ改ざん：コード署名を破り、その後macOSが実行を拒否
• ノードは5分ごとに4層の証明を通じて再検証される → セキュアエンクレーブ、Apple MDM、Apple署名のデバイス証明書、継続的なチャレンジ応答
これらの保護を破る唯一の方法は、マシンを物理的に再起動することで、即座にプロセスを停止し、すべてを消去します。Appleは自社のプライベートクラウドコンピューティングインフラでも同じアプローチを採用しています。
- - - - -
これがEigenにとって意味すること
Darkbloomはスタンドアロンの製品としてではなく、概念実証およびEigenがAIインフラストラクチャのスタックで向かっている方向のシグナルとして機能します。
EigenLayerのコアの主張は、分散型システムに信頼を取り戻すことです。
DarkbloomはそれをAIコンピューティングに拡張し、推論を検証可能にするだけでなく、信頼できるものにします。もしサードパーティのハードウェアが機密性の高いワークロードに対して暗号的に信頼できることが証明されれば、クラウドプロバイダーやデータセンター運営者を信用しない新しい分散型AIインフラのクラスが開かれます。
これにより、Eigenはプライバシーをインフラとして扱う市場での役割を開始します。
- - - - -
いくつかの考え
Darkbloomの研究論文を通じて考慮すべきいくつかのポイント：
• コーディネーターは当面、信頼された中央層のままです；チームはこれを透明にしていますが、完全に排除されているわけではありません
• 現在のセキュリティモデルは、未修正のmacOSカーネルの脆弱性がないことを前提としています
• ネットワークトラフィックのパターンは、内容自体が隠されていても、リクエストの長さや複雑さなどの大まかな詳細を明らかにする可能性があります
真のテストは、より多くのノードがネットワークに参加したときにプライバシー保証が維持されるかどうか、そして人々がインセンティブなしで敏感なワークロードを実行するのを十分に信頼できるかどうかです。
キーワード：インセンティブなし
最大のハードルは信頼です。誰かに、見知らぬ人のマシンを通じてデータやプロンプトを実行させることに十分な安心感を持たせることです。これは難しい売りであり、真剣に解決しようとしているプロジェクトはほとんどありません。
それにもかかわらず、@mementoresearchのチームがそれを解決するための数学的な見通しを立てたようです → 添付ページを確認してください
開示：Project DarkbloomはEigen Labsによる研究イニシアチブです：こちらからアクセス + 私は$EIGEN ホルダーです

EIGEN2.2%

原文表示