タイトル：私たちの暗号通貨AIテーゼ（パートII）：分散コンピュートが王である

暗号研究者のTeng Yan氏によるオリジナル記事

元の記事の翻訳：深センテックフロー

おはようございます！ついに来ました。

私たちの論文全体の内容は非常に豊富ですが、皆さんがより理解しやすく、かつメールサービスプロバイダのサイズ制限を超えることを避けるために、いくつかの部分に分けて共有することにしました。次の1ヶ月間で段階的に共有していきます。さあ、始めましょう！

私はずっと忘れられない大きな損失があります。

このことは今でも私を悔やませています。なぜなら、それはどんなフォローマーケットの人でも明らかな機会であり、私はそれを見逃してしまい、一銭も投資しなかったからです。

いいえ、これは次のソラナキラーでもありませんし、おかしい帽子をかぶった犬のmemecoinでもありません。

そうです。。。。。。 NVIDIAです。

NVDAの株価のパフォーマンス年初から今まで。出典：Google

わずか1年で、NVIDIAの時価総額は1兆ドルから3兆ドルに急上昇し、株価は3倍になり、BTCを超えるパフォーマンスを同じ期間で示しました。

もちろん、その一部はAIブームの推進によるものです。しかし、さらに重要なのは、この上昇には堅固な現実の基盤があるということです。NVIDIAは2024会計年度において収益が6000億ドルに達し、2023年から126%上昇しました。この驚異的な上昇の背後には、世界中の大手テクノロジー企業がGPUを熱望し、汎用人工知能（AGI）の軍拡競争で先行を図ろうとしていることがあります。

なぜ私は逃してしまうのか？

過去2年間、私は完全に暗号資産の領域に集中しており、AIの動向をフォローしていませんでした。これは大きなミスであり、今も後悔しています。

しかし、今回は同じ間違いを犯さない。

今日のCrypto AIは、私に既視感を与えます。 **

私たちは革新の爆発の瀬戸際に立っています。それは19世紀中期のカリフォルニアのゴールドラッシュと驚くほど似ています-産業と都市が一夜にして興隆し、インフラが急速に発展し、冒険に敢える人々は大いに稼ぎました。

初期のNVIDIAと同じように、Crypto AIは将来的には明らかになるでしょう。

Crypto AI:無限の可能性を秘めた投資機会

· まだ多くの人がそれを「空中楼閣」と見なしています。

· Crypto AI は現在、早期の段階にあり、ピークまでには1-2年かかる可能性があります。

· この分野には少なくとも2300億ドルの上昇ポテンシャルがあります。

Crypto AIの核心は人工知能と暗号化基盤の組み合わせです。これにより、それはより広範な暗号化市場に従うのではなく、人工知能の指数上昇軌道に沿って発展する可能性が高くなります。したがって、先を行くためには、Arxivの最新のAI研究をフォローし、次の大きな出来事を構築していると信じている創業者たちと交流する必要があります。

Crypto AIの4つのコア領域

私の論文の第二部分では、Crypto AI の最も有望な4つのサブ領域に焦点を当てます：

1. 分散型コンピューティング:モデルトレーニング、推論、GPU取引市場

2.データネットワーク

3. 検証可能なAI

4. オンチェーンで動作する AI インテリジェント・エージェント

この記事は、数週間の深い研究とCrypto AI分野の創設者やチームとの交流の成果です。それはすべての分野の詳細な分析ではなく、あなたの好奇心を刺激し、研究方向を最適化し、投資決定を導くことを目的としたハイレベルなロードマップです。

Crypto AIのエコシステムのブループリント

私は分散化AIのエコシステムを階層構造として想像しています：分散化されたコンピューティングとオープンデータネットワークから始まり、これらは分散化AIモデルのトレーニングの基盤となります。

すべての推論の入力と出力は、暗号学、暗号化経済のインセンティブ、および評価ネットワークを介して検証されます。これらの検証済みの結果は、オンチェーンでの自律運営型のAIエージェントと、信頼できるコンシューマーレベルおよび企業レベルのAIアプリケーションに流れます。

協調ネットワークはエコシステム全体をつなぎ、シームレスなコミュニケーションと協力を実現します。

このビジョンでは、AI 開発に従事するチームは、自身のニーズに応じてエコシステムの1つ以上のレベルにアクセスできます。分散化された計算を使用してモデルトレーニングを行うか、評価ネットワークを介して高品質の出力を確保するかに関わらず、このエコシステムは多様な選択肢を提供しています。

ブロックチェーンの組み合わせ可能性により、私はモジュラな未来に向かっていると信じています。各層は高度に専門化され、プロトコルは特定の機能に最適化され、統合されたソリューションではなくなります。

近年、分散化AIの技術スタックの各層には、多くのスタートアップが現れ、「寒武纪式」の爆発的な上昇を示しています。これらの企業の大部分はわずか1〜3年で設立されています。これは、私たちはまだこの業界の初期段階にあることを示しています。

私が見た中で、最も包括的で最新のバージョンのCrypto AIスタートアップエコシステム図は、topology.vcのCaseyと彼女のチームが管理しています。この分野の進展を追跡したいすべての人にとって必須のリソースです。

Crypto AIの各サブ領域を詳しく調査するにつれて、私は常に考えています：ここにはどれだけの機会があるのでしょうか？私がフォローしているのは小規模な市場ではなく、数千億ドル規模に拡大する可能性のある巨大な機会です。

1.市場規模

市場規模を評価する際、私は自分に尋ねます：このサブ領域は新しい市場を作り出していますか、それとも既存の市場を転覆させていますか？

分散化计算を例に取ると、これは典型的な破壊的な領域です。その潜在能力を現在のクラウドコンピューティング市場から推定することができます。現在、クラウドコンピューティング市場は約6,800億ドルで、2032年までに2.5兆ドルに達すると予想されています。

それに比べて、AIインテリジェントエージェントのような新しい市場はより量化が難しいです。歴史的なデータが不足しているため、問題解決能力を直感的に判断し、合理的な推測をすることしかできません。しかし、注意が必要なのは、時には新しい市場のように見える製品が、実際には「問題の解決策を見つける」ためのものである場合もあるということです。

2.タイミング

タイミングは成功の鍵です。技術は通常、時間とともに改善され、より安くなりますが、さまざまな分野での進歩の速度は異なります。

ある特定の分野において、技術の成熟度はどの程度ですか？それはすでに十分に成熟して、大規模な適用が可能になったのでしょうか？それともまだ研究段階であり、実際の適用まで数年かかるのでしょうか？タイミングが分野に投資する価値があるかどうか、または一時的に見送るべきかを決定します。

完全同型暗号化（Fully Homomorphic Encryption, FHE）を例に挙げると、その潜在能力は否定できませんが、現在の技術性能は依然として遅すぎて、大規模な応用は実現困難です。それが主流市場に進出するまでには、もう数年かかるかもしれません。したがって、私はすでに大規模な応用に近づいている技術に優先的にフォローし、時間とエネルギーを勢いを増している機会に集中させる方針です。

これらのサブ領域を「市場規模 vs. タイミング」のグラフに描くと、おそらくこのようなレイアウトになるでしょう。注意すべきは、これが概念的なスケッチであり、厳密なガイドラインではないということです。各領域内にも複雑さが存在します。たとえば、検証可能な推論においては、zkMLやopMLのような異なる手法が技術的に異なる段階にあるという点です。01928374656574839201

それでも私は、AIの将来の規模が非常に大きいと信じています。今日「マイナー」に見える分野でも、将来的に重要な市場に発展する可能性があります。01928374656574839201

同時、私たちは、技術の進歩が常に直線的なものではないことを認識する必要があります-それはしばしば飛躍的な方法で進むものです。新しい技術の突破が現れると、私の市場の機会と規模に対する見方もそれに応じて調整されます。

上記の枠組みに基づいて、次に、Crypto AIの各サブ領域を1つずつ分解し、それらの成長ポテンシャルと投資機会を探求します。

エリア1：分散化コンピューティング

まとめ

· 分散型コンピューティングは、分散型AI全体の中核的な柱です。

· GPU市場、分散トレーニングおよび分散推論は互いに密接に関連しており、相互に発展しています。

· 供給側は、中小規模のデータセンターや一般消費者のGPUデバイスから主に供給されています。

・需要側は現在規模が小さいですが、徐々に上昇しており、主に価格に敏感で、レイテンシー要求が高くないユーザー、および規模の小さいAIスタートアップ企業が含まれています。

· 現在のWeb3 GPU市場が直面している最大の課題は、これらのネットワークを本当に効果的に稼働させる方法です。

・分散化ネットワークでGPUの使用を調整するには、先進的なエンジニアリング技術と堅牢なネットワークアーキテクチャの設計が必要です。

1.1 GPU市場/コンピューティングネットワーキング

目前、一部の Crypto AI チームが分散型の GPU ネットワークを構築しており、世界中で十分に活用されていない計算リソースプールを利用して、供給を大幅に上回る GPU 需要に対処しています。

これらのGPU市場の核心価値は次の3つに要約できます：

コストを計算すると、AWSよりも最大90%低くなることがあります。この低コストは、中間業者の排除と供給側のオープン化の2つの要素によるものです。これらの市場では、ユーザーが世界最低のマージンコストの計算リソースにアクセスできるようになっています。

1. 長期契約のバインドは必要ありません、KYCの身分確認も不要、承認待ちも必要ありません。

2.検閲に抵抗する能力

3. 市場の供給側の問題を解決するために、これらの市場は以下のソースから計算リソースを取得します:

· 企業レベルのGPU： 例えばA100やH100などの高性能GPUは、これらのデバイスは通常、中小規模のデータセンターから提供されます（単独で運営する場合は十分な顧客を見つけるのが難しいため）、または収入の多様化を望むBTCマイナーから提供されます。さらに、政府の資金援助を受けて大規模なインフラプロジェクトを進めているチームもあります。これらのプロジェクトは技術の発展の一環として多数のデータセンターを構築しています。これらの供給業者は通常、GPUをネットワークに持続的に接続することで、デバイスの減価償却費用を相殺するためのインセンティブを受けています。

**· 消費者レベルのGPU：**何百万ものゲーマーや家庭ユーザーが自分のコンピューターをネットワークに接続し、TOKEN報酬を受け取ることで利益を得ています。

現在、分散化計算の需要側は、主に次のようなユーザーに分類されます：

**1.価格に敏感で、レイテンシー要求が高くないユーザー：**予算が限られている研究者や独立したAI開発者などが該当します。彼らはリアルタイム処理能力よりもコストを重視しています。予算の制限により、彼らはしばしば従来のクラウドサービスの巨大企業（AWSやAzureなど）の高額な費用を負担することができません。このグループに対する正確なマーケティングは非常に重要です。

**2.小型 AI 初创公司：**これらの企業は柔軟でスケーラブルな計算リソースが必要ですが、大手クラウドサービスプロバイダーとの長期契約を結ぶことは望んでいません。このグループを引き付けるには、彼らが従来のクラウドコンピューティング以外の代替手段を積極的に探しているため、ビジネス協力を強化する必要があります。

**3. Crypto AI スタートアップ企業：**これらの企業は分散化AI製品の開発に取り組んでいますが、独自の計算リソースを持たない場合は、これらの分散化ネットワークに依存する必要があります。

4. クラウドゲーム： AI との直接的な関係はありませんが、クラウドゲームは GPU リソースの需要が急速に上昇しています。

覚えておくべき重要なポイントは、開発者は常にコストと信頼性を優先することです。

真正のチャレンジ：需要ではなく供給

多くのスタートアップは、GPU供給ネットワークの規模を成功の指標としていますが、実際にはこれは単なる「虚栄の指標」に過ぎません。

本当のボトルネックは需要側ではなく、供給側にあります。成功を測る重要な指標は、ネットワーク内にGPUがいくつあるかではなく、GPUの利用率および実際に貸し出されているGPUの数です。

トークンインセンティブメカニズムは、供給側の起動に非常に効果的であり、迅速にネットワークにリソースを誘引することができます。ただし、それらは需要不足の問題を直接解決することはできません。真のテストは、製品を十分に洗練された状態にすることができるかどうかであり、潜在的な需要を引き出すことができるかどうかです。

Haseeb Qureshi（Dragonflyの一員）の言うとおり、これが重要なポイントなのです。

計算ネットワークを本当に稼働させる

現在、Web3 分散型 GPU マーケットが直面する最大の課題は、これらのネットワークを実際に効率的に稼働させる方法です。

これは簡単なことではありません。

分散ネットワークでGPUを調整することは、リソース割り当て、動的なワークロードの拡張、ノードとGPUの負荷バランシング、レイテンシー管理、データ転送、耐障害性、および世界中の多様なハードウェアデバイスの処理など、多数の技術的な問題が関係しているため、非常に複雑なタスクです。これらの問題は重層的に重なり合い、巨大なエンジニアリングの課題を構成しています。

これらの問題を解決するには、非常に堅実なエンジニアリング技術力と、頑丈で合理的に設計されたネットワークアーキテクチャが必要です。

これをより理解するために、GoogleのKubernetesシステムを参考にすることができます。Kubernetesは、コンテナオーケストレーション領域のゴールドスタンダードと広く認識されており、分散環境での負荷分散やスケーリングなどのタスクを自動化することができます。これらの問題は、分散GPUネットワークが直面する課題と非常に似ているため、注目に値します。Kubernetesは、Googleの10年以上にわたる分散コンピューティングの経験に基づいて開発されましたが、それでも数年の間に数回のイテレーションを経て完成するのに時間がかかりました。

現在、いくつかのオンライン GPU コンピューティング市場は、小規模なワークロードを処理することができますが、より大規模な拡張を試みると、問題が明らかになる可能性があります。これは、アーキテクチャの設計に根本的な欠陥があるためかもしれません。

信頼性の問題：チャレンジと機会

もう一つの分散化計算ネットワークが解決しなければならない重要な問題は、ノードの信頼性をどのように確保するか、つまり、各ノードが自らが主張する計算能力を本当に提供しているかをどのように検証するかです。現在、この検証プロセスは主にネットワークの評判システムに依存しており、時には計算提供者が評判のスコアに基づいてランキングされます。ブロックチェーン技術はこの分野で天然の利点を持っています。なぜなら、信頼のおけない検証メカニズムを実現できるからです。GensynやSpheronなどのいくつかの新興企業は、この問題を信頼のおけない方法で解決する方法を探っています。

現在、多くのWeb3チームがこれらの課題に取り組んでいるが、これはこの領域の機会がまだ非常に広範であることを意味している。

分散型コンピューティングの市場規模

それでは、分散化計算ネットワークの市場は実際にどれくらい大きいのでしょうか？

現在、世界のクラウドコンピューティング市場(約6,800億ドルから2兆5,000億ドル)のごく一部しか占めていない可能性があります。 しかし、分散型コンピューティングのコストが従来のクラウドサービスプロバイダーよりも低い限り、ユーザーエクスペリエンスに多少の摩擦があったとしても、必然的に需要があります。

短期から中期にかけて、分散化コンピューティングのコストは依然として低水準を維持すると考えています。これは主に2つの要素によるものです：1つはトークンの補助金、もう1つは価格に敏感でないユーザーからの供給の解除です。例えば、ゲームノートパソコンをレンタルして追加収入を得ることができれば、月間20ドルでも50ドルでも満足するでしょう。

分散化計算ネットワークの真の上昇潜在能力、およびその市場規模の顕著な拡大は、以下のいくつかの重要な要因に依存することになる:

1. 分散化AIモデルトレーニングの実現可能性: 分散化ネットワークがAIモデルのトレーニングをサポートする場合、市場の需要は大きくなります。

**2. 推論ニーズの急増：**AIの推論ニーズの急増に伴い、既存のデータセンターではこの需要を満たすことができないかもしれません。実際、この傾向は既に現れ始めています。NVIDIAのJensen Huangは、推論ニーズが「10億倍」に上昇すると述べています。

**3.サービスレベルプロトコル（SLAs）の導入：**現在、分散化計算は主に「ベストエフォート」でサービスを提供しており、ユーザーはサービス品質（正常稼働時間など）の不確実性に直面する可能性があります。SLAsがあれば、これらのネットワークは標準化された信頼性とパフォーマンスの指標を提供できるため、企業が採用している重要な障壁を取り除き、分散化計算を従来のクラウドコンピューティングの実行可能な代替手段にします。

分散化された、許可不要の計算は、分散化されたAIエコシステムの基本層であり、最も重要なインフラストラクチャの1つでもあります。

GPUなどのハードウェアサプライチェーンは拡大し続けていますが、私は依然として「人間の知能時代」の黎明期にいると信じています。将来、計算能力への需要は終わりがないでしょう。

「Please follow」は、GPU市場の価格改定における重要な変曲点の引き金となる可能性があり、その変曲点は間もなく訪れる可能性があります。

その他のコメント：

· GPU市場は非常に競争が激しく、分散化プラットフォーム同士の競争だけでなく、Vast.aiやLambdaなどのWeb2 AI新興クラウドプラットフォームの台頭にも直面しています。

・小規模ノード（たとえば4枚のH100 GPU）は用途が限られているため、市場の需要はそれほど大きくありません。しかし、大規模クラスタを販売しているサプライヤーを見つけたい場合、それはほぼ不可能です。なぜなら、それらの需要は依然として非常に高いからです。

· 分散化プロトコルの計算リソース供給は、統合されるか、または複数の市場に分散され続けるのか？私は前者をより支持し、最終的な結果はべき乗分布になると考えています。なぜなら、統合はインフラの効率を向上させる傾向があるからです。もちろん、この過程は時間がかかりますし、その間、市場の分散と混乱は続くでしょう。

開発者はアプリケーションの構築に集中したいと考えており、デプロイや設定の問題に時間を費やすことは望ましくありません。そのため、コンピューティング市場では、これらの複雑さを簡素化し、ユーザーが計算リソースを取得する際の摩擦をできるだけ少なくする必要があります。

1.2 分散化トレーニング

概要

· もしスケーリング法則が成立すれば、将来、単一のデータセンターで次世代の先端AIモデルをトレーニングすることは物理的に不可能になるでしょう。

AIモデルのトレーニングには大量のGPU間データ転送が必要であり、分散GPUネットワークの低い相互接続速度が通常、最大の技術的障害です。

· 研究者はさまざまな解決策を探求し、いくつかの画期的な進展を遂げています（例：Open DiLoCoおよびDisTrO）。これらの技術革新は相乗効果を生み出し、分散型トレーニングの発展を加速させます。

・分散化トレーニングの未来は、AGI向けではなく、特定の分野に設計された小型で専用のモデルに重点を置く可能性があります。

· OpenAIのo1などのモデルの普及に伴い、推論の需要は急激に上昇し、分散推論ネットワークに大きなチャンスをもたらします。

想像してみてください：世界を変える巨大なAIモデルが、秘密のトップ研究所ではなく、何百万もの一般の人々によって共同で作成される。ゲームプレイヤーのGPUはもはや『コール オブ デューティ』のクールなグラフィックをレンダリングするためだけではなく、より大きな目標をサポートするために使用されます。それはオープンソースで、集団所有のAIモデルであり、中央集権的な監視者は存在しません。

このような将来、基本的な規模のAIモデルはもはや一流の研究所の専売特許ではなく、一般の参加者の成果となります。

しかし、現実に戻ると、現在、ほとんどの重要なAIトレーニングは中央集権化されたデータセンターに集中しています。この傾向は今後しばらく変わることはないかもしれません。

OpenAIなどの企業は、巨大なGPUクラスターを拡大し続けています。Elon Muskは最近、xAIが20万枚のH100に相当するGPUを備えたデータセンターを完成させる予定であることを明らかにしました。

しかし、問題は単にGPUの数だけではありません。Googleは2022年のPaLM論文で、GPUの最大計算能力の実際の利用率を測定するために、モデルFLOPS利用率（MFU）という重要な指標を提案しました。驚くべきことに、この利用率は通常35〜40％しかありません。

なぜそれほど低いのですか？ GPUのパフォーマンスはモールの法則に従って急速に向上していますが、ネットワーク、メモリ、およびストレージデバイスの改善は遅れており、顕著なボトルネックを形成しています。その結果、GPUはデータの転送が完了するのを待っている間、しばしばアイドル状態になります。

現在、AIのトレーニングが非常に中央集権化されている根本的な理由はただ1つあります-効率です。

大規模モデルのトレーニングには、以下の重要な技術が必要です:

**· データ並列化：**データセットを複数のGPUに分割して並行処理を行い、トレーニングプロセスを高速化します。

**· モデルパラレル：**モデルの異なる部分を複数のGPUに分散して、メモリ制限を克服します。

これらの技術はGPU間で頻繁にデータを交換する必要があるため、接続速度（すなわち、ネットワーク内のデータ転送速度）が非常に重要です。

AIモデルのトレーニングコストが100億ドルにも達する現在、効率の向上は非常に重要です。

中心化データセンターは、高速インターコネクト技術により、GPU間での高速データ転送を実現し、トレーニング時間を節約することでコストを大幅に削減できます。これは分散化ネットワークが現在までには追いつけない…少なくとも今のところは。

遅いインターネット接続速度の克服

AI領域の専門家と話すと、多くの人が分散トレーニングは実現不可能だと断言するかもしれません。

分散化の構造では、GPU クラスターは同じ物理的な場所に存在せず、これがデータ転送速度の遅さをもたらし、主要なボトルネックとなります。トレーニングプロセスでは、GPU は各ステップでデータの同期と交換を行う必要があります。距離が遠いほど、レイテンシーが高くなります。そして、より高いレイテンシーはトレーニング速度の低下とコストの増加を意味します。

中央集権的データセンターで数日間で完了するトレーニングタスクは、分散環境では2週間かかり、コストも高くなる可能性があります。これは明らかに実行不可能です。

しかし、この状況は変わりつつあります。

期待されていることは、分散トレーニングの研究の熱が急速に上昇していることです。研究者は、多方面から同時に探索を開始しており、最近の多数の研究成果や論文がその証拠です。これらの技術の進歩により、分散トレーニングの発展が加速されることになります。

また、実際の生産環境でのテストも非常に重要であり、それは私たちが既存の技術の限界を突破するのを助けます。

現在、一部分の分散化トレーニング技術は、低速接続環境で小規模なモデルを処理することができるようになっています。一方、先端研究では、これらの手法をより大規模なモデルに拡張する取り組みが進められています。

· 例えば、Prime IntellectのOpen DiCoLo論文では、実用的な手法が提案されています。GPUを「クラスター」に分割し、各クラスターが同期する前に500回のローカル計算を完了させることで、帯域幅要求を元の1/500にドロップさせます。この技術は、元々Google DeepMindが小規模モデルに対して研究していたものであり、現在では100億パラメータのモデルのトレーニングにも成功し、最近完全にオープンソース化されました。

Nous ResearchのDisTrOフレームワークは、オプティマイザー技術によって、GPU間の通信要件を10,000倍に削減し、12億パラメータを持つモデルのトレーニングに成功しました。

· この勢いは続いています。Nous は最近、15億パラメーターモデルの事前トレーニングを完了し、その損失曲線と収束速度はさらに伝統的な中央集権的トレーニングを上回るとさえ言えます。

（ツイートの詳細）

また、SWARM ParallelismやDTFMHEのような手法では、異なる種類のデバイスで超大規模なAIモデルを訓練する方法が模索されており、これらのデバイスの速度や接続条件が異なる場合でも、訓練が行われています。

もう一つの課題は、特に分散化ネットワークで一般的な消費者向けGPUのような多様なGPUハードウェアの管理方法です。これらのデバイスは通常、メモリが制限されています。モデルパラレル技術（モデルの異なるレイヤーを複数のデバイスに分散させる）によって、この問題は徐々に解決されつつあります。

分散化トレーニングの未来

現在、分散トレーニング手法のモデル規模はまだ最先端のモデルに比べて大幅に遅れています（GPT-4のパラメーター量は約1兆で、Prime Intellectの100億パラメーターモデルの100倍と報告されています）。本当のスケーリングを実現するには、モデルアーキテクチャの設計、ネットワークインフラ、およびタスク分配戦略で大きな突破を達成する必要があります。

しかし、私たちは大胆に想像することができます：将来、分散化トレーニングは、最大の中央集権データセンターよりも多くのGPU計算能力を集めるかもしれません。

Pluralis Research（分散化トレーニング分野でフォローする価値のあるチーム）は、これが可能であり、必然的であると考えています。中心化データセンターは、スペースや電力供給などの物理的な条件に制限されていますが、分散化ネットワークは、ほぼ無限のグローバルリソースを活用することができます。

甚至NVIDIAのJensen Huangも、非同期分散化トレーニングがAIの拡張潜在能力を解放するための鍵かもしれないと述べています。また、分散トレーニングネットワークにはより強力な耐障害性もあります。

したがって、将来の可能性の1つでは、世界で最も強力なAIモデルは分散的な方法でトレーニングされることになります。

このビジョンは興奮させられますが、現時点では私は態度を保留しています。我々は、技術的・経済的に大規模なモデルの分散トレーニングが実現可能であることを証明するために、より強力な証拠が必要です。

私は、分散化トレーニングの最適な適用シナリオは、小規模で特定のオープンソースモデルにあり、これらのモデルは特定のアプリケーションシナリオに対応するために設計されており、大規模なAGIベースのモデルと競合するのではありません。特にTransformerモデル以外の一部のアーキテクチャは、分散環境に非常に適していることが証明されています。

また、TOKEN 刺激メカニズムは将来の重要な要素になります。分散化トレーニングが規模において実現可能になると、TOKEN が貢献者に効果的に刺激を与え、報酬を与えることで、これらのネットワークの発展を促進します。

長い道のりがあるが、現在の進展は励みになる。分散化トレーニングの突破は分散化ネットワークだけでなく、大手テクノロジー企業やトップのAI研究所にも新たな可能性をもたらす…

1.3 分散型推論

現在、AI の計算リソースの大部分は、大規模なモデルのトレーニングに集中しています。トップのAI研究所は、最強の基本モデルを開発し、最終的にAGIを実現することを目指して競争しています。

しかし、私は、このようなトレーニングへの計算リソースの集中投資が将来的には推論に移行するだろうと考えています。人工知能（AI）技術が私たちの日常的な利用するアプリケーションにますます統合されるにつれて、医療からエンターテイメント業界まで、推論をサポートするために必要な計算リソースは非常に大きくなります。

このトレンドは偶然ではありません。推論時の計算スケーリングは、AIの分野で注目されています。最近、OpenAIは最新のモデルo1（コードネーム：Strawberry）のプレビューバージョン/ミニバージョンをリリースしました。特筆すべき特徴は、「考える時間」があることです。具体的には、問題に答えるためにどの手順を取る必要があるかを分析し、それらの手順を段階的に完了させます。

このモデルは、より複雑な計画が必要なタスクに特化しており、例えばクロスワードパズルの解決やデプス推論が必要な問題を処理することができます。応答の生成速度は遅いですが、より詳細で熟考された結果が得られます。ただし、この設計には高い運用コストがかかり、推論コストはGPT-4の25倍です。

このトレンドからは、AI パフォーマンスの次の飛躍は、より大きなモデルのトレーニングだけでなく、推論段階の計算能力の拡張にも依存することがわかります。

もしあなたがもっと知りたい場合、いくつかの研究がすでに証明しています：

・多くのタスクにおいて、重複サンプリングによる推論計算の拡張により、著しい性能向上が得られます。

· 推論段階も指数関数スケーリングの法則に従います。

強力なAIモデルがトレーニングされると、それらの推論タスク（つまり、実際のアプリケーション段階）は分散計算ネットワークにアンロードできます。この方法は非常に魅力的であり、その理由は次のとおりです。

· 推論に必要なリソースはトレーニングよりもはるかに少なくなります。トレーニングが完了した後、モデルは量子化、剪定、または蒸留などの技術を使用して圧縮および最適化することができます。モデルはテンソル並列処理またはパイプライン並列処理によって分割され、一般的なコンシューマーグレードのデバイスで実行することもできます。推論には高性能なGPUは必要ありません。

・この傾向はすでに現れ始めています。たとえば、Exo Labsは、MacBookやMac Miniなどの消費者向けハードウェア上で、4500億のパラメータを持つLlama3モデルを実行する方法を見つけました。推論タスクを複数のデバイスに分散して実行することで、大規模な計算要件でも効率的かつ低コストで実行できます。

· より良いユーザーエクスペリエンス：計算能力をユーザーに近い場所に配置することで、レイテンシーを大幅にドロップすることができます。これは、ゲーム、拡張現実（AR）、または自動運転車などのリアルタイムアプリケーションにとって重要です。これらのシナリオでは、ミリ秒単位のレイテンシーの違いが利用体験に影響を与える可能性があります。

分散化推論は、AIのCDN（コンテンツ配信ネットワーク）になぞらえることができます。従来のCDNは、近くのサーバーに接続してウェブサイトのコンテンツを高速に転送することでしたが、分散推論は、ローカルの計算リソースを利用して、極めて高速にAI応答を生成します。この方法により、AIアプリケーションはより効率的で、より速く応答し、より信頼性が高くなります。

このトレンドはすでに端緒を示しています。Appleの最新のM4 Proチップは、その性能がNVIDIAのRTX 3070 Tiに近づいています-これはかつてハードコアゲーマー向けの高性能GPUだったものです。そして今日、私たちが日常的に使用するハードウェアは、ますます複雑なAIワークロードを処理できるようになっています。

暗号通貨の価値は力づけられる

分散化された推論ネットワークを本当に成功させるためには、参加者に十分な経済的なインセンティブを提供する必要があります。ネットワーク内の計算ノードは、その貢献に対して適切な報酬を受け取る必要があります。また、システムは報酬の公平性と効率性を確保する必要があります。さらに、地理的な多様性も非常に重要です。これにより、推論タスクのレイテンシーを減少させるだけでなく、ネットワークの耐障害性も向上し、全体の安定性が高まります。

では、分散化ネットワークを構築する最良の方法は何ですか？答えは暗号資産です。

Token は、すべての参加者の利益を統一し、すべての人が同じ目標に向けて努力していることを確実にする強力なツールです：ネットワークの規模を拡大し、Token の価値を向上させます。

また、TOKENはネットワークの成長を大幅に促進することができます。これにより、多くのネットワークが初期段階で直面していた古典的な「先に鶏がいたのか、先に卵がいたのか」という難問を解決するのに役立ちます。TOKENは初期採用者を報奨することで、ネットワーク構築に多くの人々が参加することを促進することができます。

BTCとイーサリアムの成功は、この仕組みの有効性を証明しています-彼らは既に地球上で最大の計算能力プールを集めています。

分散化推論ネットワークは次の世代のリーダーとなるでしょう。地理的多様性の特性により、これらのネットワークはレイテンシーを減少し、耐障害性を向上させ、AIサービスをユーザーにより身近なものにします。また、暗号資産駆動のインセンティブメカニズムを利用することで、分散化ネットワークの拡張速度と効率は従来のネットワークをはるかに上回ります。

敬意を表します

テン・ヤン

次のシリーズの記事では、データネットワークについて詳しく調査し、それがAIが直面するデータボトルネックを打破するのにどのように役立つかを研究します。

免責事項

この記事は教育目的のみであり、財務アドバイスを意味するものではありません。これは資産の取引や財務上の意思決定を推奨するものではありません。投資を選択する際には、自己の研究を行い慎重に行ってください。

原文リンク

：