本稿はWeb3×AIに関する調査レポートシリーズの第2弾であり、その導入部については「From Parallel to Convergence: Exploring the New Wave of Digital Economy Leading by the Convergence of Web3 and AI」で詳しく解説しています
前述したように、DePINは、主にロングテールのコンシューマグレードのコンピューティングパワー市場を活用しており、単一のデバイスで提供できるコンピューティングパワーは限られています。 大規模な AI モデルの場合、1 つのデバイスでのトレーニングは非常に長くなる可能性があり、並列化を使用してトレーニングに必要な時間を短縮する必要があります。
AI x DePIN:ホットトラックの衝突から生まれる新しい機会とは?
著者: Cynic, Shigeru
本稿はWeb3×AIに関する調査レポートシリーズの第2弾であり、その導入部については「From Parallel to Convergence: Exploring the New Wave of Digital Economy Leading by the Convergence of Web3 and AI」で詳しく解説しています
世界がデジタルトランスフォーメーションを加速させ続ける中、AIとDePIN(Decentralization Physical Infrastructure)は、業界全体の変革を推進する基盤技術となっています。 AIとDePINの統合は、テクノロジーの迅速な反復と適用を促進するだけでなく、より安全で透明性が高く、効率的なサービスモデルを開き、世界経済に広範囲にわたる変化をもたらします。
DePIN:仮想から現実への分散化、デジタル経済の主力
DePINは、Decentralization Decentralized Physical Infrastructureの略語です。 狭義には、DePINは主に、電力ネットワーク、通信ネットワーク、測位ネットワークなど、分散型台帳技術によってサポートされている従来の物理インフラストラクチャの分散ネットワークを指します。 大まかに言えば、ストレージネットワークやコンピューティングネットワークなど、物理デバイスによってサポートされるすべての分散ネットワークをDePINと呼ぶことができます。
差出人: Messari
暗号が金融レベルで分散化をもたらす場合、DePINは実体経済における分散化ソリューションです。 PoWマイニングリグは一種のDePINであると言えます。 DePINは、設立当初からWeb3の中核的な柱となっています。
AIの3つの要素(アルゴリズム、計算能力、データ)は、DePINが2番目の要素を独占的に占めています
一般的にAIの開発は、アルゴリズム、計算能力、データの3つの重要な要素に依存していると考えられています。 アルゴリズムとは、AIシステムを駆動する数学的モデルとプログラムロジックを指し、コンピューティングパワーとは、これらのアルゴリズムを実行するために必要なコンピューティングリソースを指し、データはAIモデルのトレーニングと最適化の基礎となります。
3つの要素のうち、どれが一番大事なのかchatGPTが登場する前は、アルゴリズムだと思われがちですが、そうでなければ学会や論文が次から次へとアルゴリズムの微調整で埋め尽くされることはありませんでした。 しかし、chatGPTとその知能を支える大規模言語モデルLLMが発表されると、人々は後者の2つの重要性に気づき始めました。 計算能力はモデルの前提条件であり、データの品質と多様性は堅牢で効率的なAIシステムの構築に不可欠であり、アルゴリズムの要件はもはや通常ほど洗練されていません。
大型モデルの時代、AIは緻密な職人技から力強い空飛ぶレンガへと変化し、計算能力とデータの需要は日々高まっていますが、DePINはまさにそれを提供することができます。 トークンのインセンティブはロングテール市場を活用し、大規模なコンシューマーグレードのコンピューティングパワーとストレージは、大規模モデルにとって最高の栄養となるでしょう。
AIの分散化はオプションではなく必須
もちろん、コンピューティングパワーとデータはAWSのコンピュータールームで利用でき、安定性とユーザーエクスペリエンスの点でDePINよりも優れているのに、なぜ中央集権的なサービスではなくDePINを選択するのかと尋ねる人もいるでしょう。
結局のところ、現在を通じて、ほとんどすべての大規模モデルは大手インターネット企業によって直接的または間接的に開発されており、chatGPTはMicrosoftの背後にあり、GeminiはGoogleの背後にあり、中国のインターネットメーカーのほとんどすべてが大規模なモデルを持っています。 なぜでしょうか? なぜなら、コンピューティング能力に十分な高品質のデータと強力な財政的支援を持っているのは、大規模なインターネット企業だけだからです。 しかし、それは正しくありません、人々はもうインターネットの巨人に操作されたくありません。
一方では、中央集権的なAIには、検閲や制御が可能なデータプライバシーやセキュリティのリスクがあり、他方では、インターネットの巨人が作ったAIは、人々の依存度をさらに高め、市場の集中につながり、イノベーションの障壁を高めます。
差出人：
AI時代に人類にマルティン・ルターは必要なく、人間は神に直接語りかける権利を持つべきです。
ビジネスの観点から見たDePIN:コスト削減と効率向上が鍵
分散化と中央集権化の価値の議論はさておき、ビジネスの観点からは、AIにDePINを使用することにはまだメリットがあります。
まず第一に、インターネットの巨人はハイエンドのグラフィックスカードリソースを大量に手にしているが、民間部門に散らばった消費者向けグラフィックスカードの組み合わせは、非常に大きなコンピューティングパワーネットワーク、つまりコンピューティングパワーのロングテール効果を形成する可能性があることを明確に理解する必要があります。 この種の消費者向けグラフィックスカードのアイドル率は、実際には非常に高いです。 DePINによるインセンティブが電気代を上回っている限り、ユーザーはネットワークにコンピューティングパワーを提供する意欲が湧いてきます。 同時に、すべての物理設備はユーザー自身によって管理され、DePINネットワークは中央集権的なベンダーが避けられない運用コストを負担する必要はなく、プロトコル設計自体にのみ焦点を当てます。
データについては、DePINネットワークは、エッジコンピューティングやその他の方法を通じて、潜在的なデータの可用性を解放し、伝送コストを削減することができます。 同時に、ほとんどの分散ストレージネットワークには自動重複排除機能があり、AIトレーニングデータのクリーニング作業が軽減されます。
最後に、DePINがもたらす暗号経済は、システムのフォールトトレランス空間を強化し、プロバイダー、消費者、プラットフォームにとってWin-Winの状況を実現することが期待されています。
差出人: UCLA
ご存じない方のために説明すると、UCLAの最新の調査によると、分散化コンピューティングを使用すると、同じコストで従来のGPUクラスターと比較して2.75倍のパフォーマンス、具体的には1.22倍高速、4.83倍安価になります。
AIxDePINの課題とは?
DePINの分散ストレージと分散コンピューティングを使用したAIモデルのトラストレスな構築には、依然として多くの課題があります。
ジョブの確認
基本的に、計算深度学習モデルとPoWマイニングはどちらも汎用コンピューティングであり、最下層はゲート間の信号変化です。 巨視的には、PoW Miningは無数の乱数生成とハッシュ関数計算によってn個のゼロを接頭辞にしたハッシュ値にたどり着こうとする「役に立たない計算」であるのに対し、Depth学習計算は、Depth学習の各層のパラメータ値を順導・逆導出によって計算し、効率的なAIモデルを構築する「有用な計算」です。
事実、PoW Miningのような「無駄な計算」はハッシュ関数を使用しており、プリイメージから画像を計算するのは簡単で、画像からプリイメージを計算することは難しいため、誰でも簡単かつ迅速に計算の妥当性を検証できますが、深層学習モデルの計算では、階層構造のため、各レイヤーの出力が次のレイヤーの入力として使用されるため、計算の妥当性を検証するにはすべての先行作業が必要であり、単純かつ効果的に検証することはできません。
from: AWS (英語)
作業の検証は重要であり、そうでなければ、計算のプロバイダーは、計算なしでランダムに生成された結果を単に送信することができます。
1つのアイデアは、異なるサーバに同じ計算タスクを実行させ、それを繰り返して同じであることを確認することで作業の妥当性を検証することです。 しかし、モデル計算の大部分は非決定論的であり、まったく同じ計算環境でも同じ結果を再現することはできず、統計的な類似性しか得られません。 さらに、二重計上はコストの急激な上昇につながり、コスト削減と効率向上というDePINの主要な目標と矛盾します。
もう一つは、楽観的な仕組みで、まず結果が正当に計算されたと楽観的に信じると同時に、誰でも計算結果を検証でき、エラーが見つかった場合はFraud Proofを提出し、プロトコルが詐欺師を斬り、内部告発者に報酬を与えるというものです。
並列化
前述したように、DePINは、主にロングテールのコンシューマグレードのコンピューティングパワー市場を活用しており、単一のデバイスで提供できるコンピューティングパワーは限られています。 大規模な AI モデルの場合、1 つのデバイスでのトレーニングは非常に長くなる可能性があり、並列化を使用してトレーニングに必要な時間を短縮する必要があります。
深度学習トレーニングの並列化の主な難しさは、フロントタスクとバックタスクの依存関係にあり、並列化の実現が困難になります。
現在、深度学習トレーニングの並列化は、主にデータ並列処理とモデル並列処理に分けられます。
データの並列処理とは、複数のマシンにデータを分散することを指し、各マシンはモデルのすべてのパラメーターを格納し、トレーニングにローカルデータを使用し、最後に各マシンのパラメーターを集計します。 データ並列処理は、データ量が多い場合には有効ですが、パラメータを集約するには同期通信が必要です。
モデルの並列処理とは、モデルのサイズが大きすぎて 1 台のマシンに収まらない場合、モデルを複数のマシンに分割し、各マシンでモデルのパラメーターの一部を保存することを意味します。 順方向と逆方向の伝播には、異なるマシン間の通信が必要です。 モデルの並列処理は、モデルが大きい場合には利点がありますが、前後に伝播する場合は通信オーバーヘッドが大きくなります。
異なるレイヤー間の勾配情報については、同期更新と非同期更新に分けることができます。 同期更新は単純ですが、待機時間が長くなります。非同期更新 アルゴリズムの待機時間は短いですが、安定性の問題が生じます。
出典:スタンフォード大学、並列および分散ディープラーニング
プライバシー
世界は個人のプライバシーを保護するという考え方の潮流を引き起こしており、世界中の政府が個人データのプライバシー保護のセキュリティを強化しています。 AIは公開されているデータセットを広範に利用しますが、さまざまなAIモデルを実際に区別するのは企業固有のユーザーデータです。
プライバシーを公開することなく、トレーニング プロセス中に独自のデータの利点を得るにはどうすればよいか、また、構築した AI モデルのパラメーターが漏洩しないようにするにはどうすればよいでしょうか。
これらは、プライバシーの 2 つの側面、データ プライバシーとモデル プライバシーです。 データプライバシーはユーザーを保護し、モデルプライバシーはモデルを構築する組織を保護します。 現在のシナリオでは、データのプライバシーはモデルのプライバシーよりもはるかに重要です。
プライバシーの懸念に対処するために、複数の選択肢が試みられています。 フェデレーテッドラーニングは、データのソースでトレーニングを行い、モデルパラメータが送信されている間、データをローカルに保持することで、データのプライバシーを確保します。 ゼロ知識証明は期待の星になるかもしれません。
ケーススタディ:市場に出回っている高品質のプロジェクトは何ですか?
ゲンシン
Gensyn は、AI モデルをトレーニングするための分散コンピューティング ネットワークです。 このネットワークは、Polkadotベースのレイヤー1ブロックチェーンを使用して、深度学習タスクが正しく実行されたことを確認し、コマンドを介して支払いをトリガーします。 2020年に設立され、2023年6月にa16zが主導する4,300万ドルのシリーズA資金調達ラウンドを発表しました。
Gensynは、勾配ベースの最適化プロセスのメタデータを使用して、実行された作業の証明書を構築し、多粒度、グラフベースの精度プロトコルとクロスエバリュエーターによって一貫して実行されるため、検証作業を再実行して一貫性を比較し、最終的にチェーン自体によって確認され、計算の有効性が保証されます。 プルーフ・オブ・ワークの信頼性をさらに強化するために、Gensynはインセンティブを生み出すためのステーキングを導入しました。
システムには、提出者、解決者、バリデーター、内部告発者の 4 種類の参加者がいます。
ソルバーは誓約を行う必要があり、内部告発者はソルバーの作業をテストし、悪を見つけた場合はそれに挑戦し、チャレンジが通過した後、ソルバーが誓約したトークンは没収され、内部告発者は報酬を受け取ります。
Gensynの予測によると、このソリューションにより、トレーニングのコストを中央集権型ベンダーの1/5に削減できると期待されています。
差出人: Gensyn
FedMLの
FedMLは、あらゆる規模、あらゆる場所での分散化とコラボレーションAIのための分散型コラボレーティブ機械学習プラットフォームです。 具体的には、FedML は、機械学習モデルのトレーニング、デプロイ、監視、継続的な改善を行うための MLOps エコシステムを提供し、データ、モデル、コンピューティング リソースを組み合わせてプライバシーを保護しながらコラボレーションします。 2022年に設立されたFedMLは、2023年3月に600万ドルのシード資金調達ラウンドを公開しました。
FedML は、FedML-API と FedML-core の 2 つの主要コンポーネントで構成されており、それぞれ高レベルの API と基になる API を表します。
FedML-core は、分散通信とモデル トレーニングの 2 つの独立したモジュールで構成されています。 通信モジュールは、異なるワーカー/クライアント間の基になる通信を担当し、MPIに基づいています。 モデルトレーニングモジュールはPyTorchに基づいています。
FedML-API は FedML-core の上に構築されています。 FedML-coreでは、クライアント指向のプログラミングインターフェースを採用することで、新しい分散アルゴリズムを簡単に実装することができます。
FedMLチームの最新の研究は、FedML Nexus AIを使用したコンシューマーグレードのGPU RTX 4090でのAIモデル推論が、A100よりも20倍安価で1.88倍高速であることを証明しています。
差出人: FedML
今後の展望:DePINによるAIの民主化
いつの日か、AIはさらにAGIに進化し、コンピューティングパワーが事実上のユニバーサル通貨になり、DePINはこれをより早く実現するでしょう。
AIとDePINの融合は、新たな技術的成長ポイントを開き、人工知能の開発に大きな機会をもたらしました。 DePINは、AIに大量の分散コンピューティングパワーとデータを提供し、より大きなモデルのトレーニングとより優れたインテリジェンスの実現を支援します。 同時に、DePINはAIのオープン性、安全性、信頼性を高め、単一の集中型インフラストラクチャへの依存を減らすことを可能にします。
今後もAIとDePINは相乗効果を発揮しながら進化していきます。 分散ネットワークは、非常に大規模なモデルをトレーニングするための強力な基盤を提供し、DePINの適用において重要な役割を果たします。 AIは、プライバシーとセキュリティを保護すると同時に、DePINネットワークプロトコルとアルゴリズムの最適化にも役立ちます。 私たちは、AIとDePINにより、より効率的で、より公平で、より信頼できるデジタル世界を楽しみにしています。
参照：
_reports/hedge_usmani.pdf