著者: ズオ・イエ
ファッションは周期的であり、Web 3 も同様です。
Near “re” は AI のパブリック チェーンになりました。Transformer の創設者の 1 人として、彼は NVIDIA GTC カンファレンスに出席し、革を着た Lao Huang 氏と生成 AI の将来について話すことができました。Solana は集会の場としての変革に成功しました。 AI コンセプト チェーンに関しては、Akash、GAIMIN、Gensyn などの GPU コンピューティングに関与する新興プレーヤーもいます。
通貨価格が上昇しているときに視線を上げてみると、いくつかの興味深い事実を見つけることができます。
まず概念的に区別しましょう. Web3 の世界におけるクラウド コンピューティング パワーは、クラウド マイニングの時代に誕生しました。これは、マイニング マシンのコンピューティング パワーをパッケージ化して販売することを指し、ユーザーがマイニング マシンを購入するための莫大な支出を排除します。電力メーカーは、超過利益を得るために 100 台のマイニング マシンの計算能力を 105 人に混ぜて販売するなど、「過剰販売」することがよくありますが、最終的にはこの用語は嘘と同じになります。
この記事におけるクラウド コンピューティングのパワーとは、特に GPU ベースのクラウド ベンダーのコンピューティング リソースを指しますが、ここで問題となるのは、分散型コンピューティング パワー プラットフォームがクラウド ベンダーのフロントエンドのパペットなのか、それとも次のバージョン アップデートなのかということです。
従来のクラウド ベンダーとブロックチェーンの統合は、私たちが想像していたよりも深いものであり、たとえば、パブリック チェーン ノード、開発、日常のストレージは基本的に AWS、Alibaba Cloud、Huawei Cloud を中心に展開され、物理ハードウェアの購入という高価な投資が不要になります。極端な場合、ネットワーク ケーブルを抜くとパブリック チェーンがダウンし、分散化の精神に大きく違反します。
一方、分散型コンピューティングパワープラットフォームは、ネットワークの安定性を維持するために「コンピュータールーム」を直接構築するか、GPU の数を促進するための IO.NET のエアドロップ戦略や FIL トークンを送信するための Filecoin のストレージなどのインセンティブ ネットワークを直接構築します。出発点は、使用ニーズを満たすことではなく、トークンに力を与えることです。その証拠の 1 つは、大手メーカー、個人、学術機関が ML トレーニング、推論、またはグラフィックス レンダリングに実際にトークンを使用することはほとんどなく、その結果、深刻なリソースの無駄が生じていることです。
**通貨価格の上昇と FOMO 感情に直面して、分散型コンピューティング能力がクラウド コンピューティング能力詐欺であるという非難はすべて消え去ったというだけのことです。 **
2 種類の計算能力には名前も運も同じなのでしょうか?
**AI モデルの計算能力要件は、トレーニングから推論まで進化しています。 **
OpenAI の Sora を例に挙げてみましょう。これも Transformer テクノロジーに基づいて製造されていますが、そのパラメータ サイズは GPT-4 の数兆に匹敵します。学界では、それが数千億未満であると推測しています。楊立坤氏は、それはであるとさえ述べています。わずか 30 億、つまりトレーニング コストが低く、これも非常に理解しやすく、少数のパラメーターに必要な計算リソースも比例して軽減されます。
しかし、その代わりに、ソラにはより強力な「推論」能力が必要になる可能性があります。推論は、指示に従って特定のビデオを生成する能力として理解できます。ビデオは長い間クリエイティブなコンテンツとみなされてきたため、より強力な AI 理解能力が必要であり、トレーニングは比較的簡単です既存のコンテンツをベースにルールをまとめ、頭を使わずに計算能力を積み上げ、奇跡を起こそうと努力すると理解できます。
以前は、AI の計算能力は主にトレーニングに使用され、推論能力には少量が使用され、基本的にさまざまな NVIDIA 製品でカバーされていましたが、Groq LPU (Language Processing Unit) の登場以降、状況は変わり始めました。より優れた推論機能、スリム化して精度を向上させるための大きなモデルの重ね合わせ、論理を話す脳を持つことが徐々に主流になりつつあります。
さらに、GPU の分類を追加したいと思います。AI を救うのはゲームをプレイする人であるとよく見られます。ゲーム市場における高性能 GPU に対する強い需要が研究開発をカバーしていることは理にかなっています。たとえば、4090 グラフィックス カード、ゲームや AI 錬金術をプレイする人は使用できますが、ゲーム カードとコンピューティング カードは徐々に分離されることに注意してください。このプロセスは、ビットコイン マイニング マシンの開発に似ています。パソコンからマイニング専用機まであり、使用されるチップもCPU、GPU、FPGA、ASICの順です。
GTC カンファレンスの後に書かれたこの記事は、Web3 で AI のコンピューティング能力不足の問題を解決できるでしょうか?
著者: ズオ・イエ
ファッションは周期的であり、Web 3 も同様です。
Near “re” は AI のパブリック チェーンになりました。Transformer の創設者の 1 人として、彼は NVIDIA GTC カンファレンスに出席し、革を着た Lao Huang 氏と生成 AI の将来について話すことができました。Solana は集会の場としての変革に成功しました。 AI コンセプト チェーンに関しては、Akash、GAIMIN、Gensyn などの GPU コンピューティングに関与する新興プレーヤーもいます。
通貨価格が上昇しているときに視線を上げてみると、いくつかの興味深い事実を見つけることができます。
まず概念的に区別しましょう. Web3 の世界におけるクラウド コンピューティング パワーは、クラウド マイニングの時代に誕生しました。これは、マイニング マシンのコンピューティング パワーをパッケージ化して販売することを指し、ユーザーがマイニング マシンを購入するための莫大な支出を排除します。電力メーカーは、超過利益を得るために 100 台のマイニング マシンの計算能力を 105 人に混ぜて販売するなど、「過剰販売」することがよくありますが、最終的にはこの用語は嘘と同じになります。
この記事におけるクラウド コンピューティングのパワーとは、特に GPU ベースのクラウド ベンダーのコンピューティング リソースを指しますが、ここで問題となるのは、分散型コンピューティング パワー プラットフォームがクラウド ベンダーのフロントエンドのパペットなのか、それとも次のバージョン アップデートなのかということです。
従来のクラウド ベンダーとブロックチェーンの統合は、私たちが想像していたよりも深いものであり、たとえば、パブリック チェーン ノード、開発、日常のストレージは基本的に AWS、Alibaba Cloud、Huawei Cloud を中心に展開され、物理ハードウェアの購入という高価な投資が不要になります。極端な場合、ネットワーク ケーブルを抜くとパブリック チェーンがダウンし、分散化の精神に大きく違反します。
一方、分散型コンピューティングパワープラットフォームは、ネットワークの安定性を維持するために「コンピュータールーム」を直接構築するか、GPU の数を促進するための IO.NET のエアドロップ戦略や FIL トークンを送信するための Filecoin のストレージなどのインセンティブ ネットワークを直接構築します。出発点は、使用ニーズを満たすことではなく、トークンに力を与えることです。その証拠の 1 つは、大手メーカー、個人、学術機関が ML トレーニング、推論、またはグラフィックス レンダリングに実際にトークンを使用することはほとんどなく、その結果、深刻なリソースの無駄が生じていることです。
**通貨価格の上昇と FOMO 感情に直面して、分散型コンピューティング能力がクラウド コンピューティング能力詐欺であるという非難はすべて消え去ったというだけのことです。 **
2 種類の計算能力には名前も運も同じなのでしょうか?
推論と FLOPS、GPU コンピューティング能力の定量化
**AI モデルの計算能力要件は、トレーニングから推論まで進化しています。 **
OpenAI の Sora を例に挙げてみましょう。これも Transformer テクノロジーに基づいて製造されていますが、そのパラメータ サイズは GPT-4 の数兆に匹敵します。学界では、それが数千億未満であると推測しています。楊立坤氏は、それはであるとさえ述べています。わずか 30 億、つまりトレーニング コストが低く、これも非常に理解しやすく、少数のパラメーターに必要な計算リソースも比例して軽減されます。
しかし、その代わりに、ソラにはより強力な「推論」能力が必要になる可能性があります。推論は、指示に従って特定のビデオを生成する能力として理解できます。ビデオは長い間クリエイティブなコンテンツとみなされてきたため、より強力な AI 理解能力が必要であり、トレーニングは比較的簡単です既存のコンテンツをベースにルールをまとめ、頭を使わずに計算能力を積み上げ、奇跡を起こそうと努力すると理解できます。
以前は、AI の計算能力は主にトレーニングに使用され、推論能力には少量が使用され、基本的にさまざまな NVIDIA 製品でカバーされていましたが、Groq LPU (Language Processing Unit) の登場以降、状況は変わり始めました。より優れた推論機能、スリム化して精度を向上させるための大きなモデルの重ね合わせ、論理を話す脳を持つことが徐々に主流になりつつあります。
さらに、GPU の分類を追加したいと思います。AI を救うのはゲームをプレイする人であるとよく見られます。ゲーム市場における高性能 GPU に対する強い需要が研究開発をカバーしていることは理にかなっています。たとえば、4090 グラフィックス カード、ゲームや AI 錬金術をプレイする人は使用できますが、ゲーム カードとコンピューティング カードは徐々に分離されることに注意してください。このプロセスは、ビットコイン マイニング マシンの開発に似ています。パソコンからマイニング専用機まであり、使用されるチップもCPU、GPU、FPGA、ASICの順です。
![GTC カンファレンスの後に書かれた、Web3 は逼迫した AI コンピューティング能力の問題を解決できるでしょうか? 】(https://img-cdn.gateio.im/resize-social/moments-69a80767fe-76a5b67c66-e2294f-ceda62)LLMスペシャルカードを開発中です…
AI テクノロジー、特に LLM ルートが成熟し、進歩するにつれて、TPU、DPU、LPU においても同様の試みがますます増えていくでしょう。もちろん、現在の主力製品は NVIDIA の GPU です。以下のすべての議論も GPU と LPU に基づいています。 . さらに待つのはGPUの補充であり、完全に交換するには時間がかかります。
**分散型コンピューティング能力競争は、GPU 獲得チャネルをめぐって競争するのではなく、新しい収益モデルを確立しようとします。 **
この記事を書いている時点では、NVIDIA がほぼ主役になっています。基本的に、NVIDIA はグラフィックス カード市場の 80% を占めています。N カードと A カードの間の論争は理論上のみ存在します。実際には、誰もが完全性について話しています。
絶対的な独占により、コンシューマ レベルの RTX 4090 からエンタープライズ レベルの A100/H100 に至るまで、GPU をめぐる熾烈な競争が生まれ、さまざまなクラウド ベンダーが在庫の調達の主力となっています。しかし、Google、Meta、Tesla、OpenAIなどのAI関連企業はいずれも自社製チップの生産に向けた動きや計画を持っており、国内企業はHuaweiなどの国内メーカーに目を向けており、GPUトラックは依然として非常に混雑している。
従来のクラウドベンダーにとって、実際に売っているのは計算能力とストレージスペースなので、自社チップを使うかどうかはAI企業ほど緊急ではないが、分散型計算能力プロジェクトに関しては、現在は前半の段階にある。従来のクラウドと比較して、安価で入手しやすいコンピューティングパワーを中心に各メーカーがコンピューティングパワービジネスを競っていますが、将来的にはビットコインマイニングのように、Web3のAIチップが登場する可能性は低いです。
追加コメント: イーサリアムが PoS に切り替わって以来、通貨サークルでは専用ハードウェアがますます少なくなってきています。佐賀の携帯電話、ZK ハードウェア アクセラレーション、DePIN などの市場は小さすぎます。分散型コンピューティング パワーが探索できることを願っています。専用の AI コンピューティング パワー カード Web3 用の独自のパスを作成します。
**分散型コンピューティング能力は、クラウドの次のステップまたは補足です。 **
業界では通常、GPU の計算能力は、計算速度の最も一般的に使用される指標である FLOPS (Floating Point Operations Per Second) と比較されますが、GPU の仕様やアプリケーションの並列処理などの最適化手段に関係なく、最終的には GPU の計算能力と比較されます。高低の FLOPS に基づきます。
ローカル コンピューティングからクラウドへの移行まで約半世紀かかり、分散という概念はコンピュータの誕生以来存在していましたが、LLM の推進により、分散化とコンピューティング能力の組み合わせは以前ほど曖昧なものではなくなりました。可能な限り多くの既存の分散コンピューティング能力プロジェクトを 2 つの側面のみで要約します。
この観点から見ると、分散型コンピューティング能力は依然として「既存のハードウェア + インセンティブ ネットワーク」に基づく DePIN ルート、またはインターネット アーキテクチャは依然として最下位層であり、分散型コンピューティング能力層は「ハードウェア仮想化」後の収益化であり、アクセスに焦点を当てています。実際のネットワークでは依然としてハードウェアの協力が必要です。
コンピューティング能力は分散化され、GPU は集中化される必要があります。
ブロックチェーンのトリレンマ フレームワークの助けにより、分散型コンピューティング能力のセキュリティを特別に考慮する必要はありません。主な問題は分散化とスケーラビリティです。後者は、現在 AI の最前線にある GPU ネットワーキングの目的です。」 。
逆説から始まりますが、分散型コンピューティング能力プロジェクトを完了するには、ネットワーク上の GPU の数ができるだけ多くなければなりません。他に理由はありません。GPT などの大規模モデルのパラメータは爆発的に増加しており、特定の規模の GPU がないため、トレーニングや推論の効果を得ることができません。
もちろん、クラウドベンダーの絶対的なコントロールに比べれば、分散型コンピューティングパワープロジェクトは現段階では少なくともGPUリソースへのアクセスなしや自由な移行などの仕組みを構築することができますが、資本効率の向上により、将来同様のマイニングプールになる可能性がありますか? 製品は同じではない可能性があります。
スケーラビリティの観点からは、GPU は AI だけでなく、クラウド コンピューティングやレンダリングも実現可能です。たとえば、Render Network はレンダリング作業に重点を置き、Bittensor などはモデルのトレーニングの提供に重点を置いています。スケーラビリティは、使用シナリオと目的に相当します。
したがって、GPU とインセンティブ ネットワークに 2 つの追加パラメータ (分散性とスケーラビリティ) を追加して、4 つの角度からの比較指標を作成できます。この方法は技術的な比較とは異なり、単なるイメージであることに注意してください。
プロジェクト GPU 数量インセンティブ ネットワーク分散型スケーラビリティ Gensyn の未発表トークン + AI トレーニングと起動後の推論を評価する検証メカニズム レンダー ネットワーク 12,000 GPU + 503 CPU トークン + 追加のインセンティブ基盤 + 提案 + オープンソース レンダリング + AI トレーニング Akash 20,000 CPU + 262 GPU トークン +完全に流通しているシステム トークンを誓約 AI 推論 io.net 180,000 GPU + 28,000 CPUGPU と引き換えに、エアドロップされた未発行コイン AI 推論 + トレーニング。
上記のプロジェクトでは、レンダー ネットワークは実際には非常に特殊です。本質的には分散レンダリング ネットワークであり、AI との関係は直接的ではありません。AI のトレーニングと推論では、SGD (確率的勾配降下法) かどうかにかかわらず、すべてのリンクが連動しています。 、確率的勾配降下法などのアルゴリズムやバックプロパゲーションには一貫性が必要ですが、レンダリングやその他のタスクは必ずしも一貫性を保つ必要はありません。タスクの分散を容易にするためにビデオや画像がセグメント化されることがよくあります。
その AI トレーニング機能は主に io.net と統合されており、io.net のプラグインとして存在します。とにかく、GPU はどんなに困難であっても動作しています。より前向きなのは、Solana への離脱です。過小評価の瞬間。後に、Solana の方がレンダリングやその他のネットワークの高性能要件により適していることが証明されました。
2 つ目は、io.net の暴力的な GPU 交換の大規模開発ルートです。現在、公式 Web サイトには 180,000 個の GPU が完全にリストされています。これは分散型コンピューティング パワー プロジェクトの第 1 レベルにあります。他の反対者とは桁違いの違いがあり、スケーラビリティの観点から、io.net は AI 推論に焦点を当てており、AI トレーニングは実践的な方法です。
厳密に言えば、AI トレーニングは分散展開には適していません。軽量の LLM であっても、パラメータの絶対数はそれほど減りません。経済コストの観点からは、集中型コンピューティング手法のほうが費用対効果が高くなります。Web 3 との統合ポイントは、トレーニングにおける AI は、ZK や FHE テクノロジーなど、よりデータのプライバシーと暗号化の操作であり、AI 推論 Web 3 には大きな可能性がありますが、その一方で、GPU コンピューティングのパフォーマンス要件が比較的低く、ある程度の損失を許容できます。 , 一方で、AI推論はよりアプリケーション側に近く、ユーザー視点でのインセンティブがより充実します。
トークンのマイニングと交換を行う別の企業である Filecoin も、io.net と GPU 利用に関する合意に達しました。Filecoin は 1,000 個の GPU を io.net と並行して使用します。これは前任者間の共同の取り組みとみなすことができます。どちらも頑張ってください。
次は、まだリリースされていない Gensyn です。評価のためにクラウドにも来ます。まだネットワーク構築の初期段階にあるため、GPU の数は発表されていません。ただし、主な使用シナリオは AI です。個人的には、少なくともレンダーネットワークのレベルを超えて、高性能なGPUの数は少なくないと感じています AI推論と比較すると、AIトレーニングはクラウドベンダーと直接的な競争関係にあり、具体的な仕組み設計はもっと複雑になる。
具体的には、Gensyn はモデル トレーニングの有効性を確保する必要があると同時に、トレーニング効率を向上させるためにオフチェーン コンピューティング パラダイムを大規模に使用しているため、モデルの検証と不正行為防止システムには複数の関係者の役割が必要ですゲーム：
全体として、運用方法は PoW マイニング + 楽観的証明メカニズムに似ています。アーキテクチャは非常に複雑です。計算をオフチェーンに転送することでコストを節約できるかもしれませんが、アーキテクチャの複雑さにより追加の運用コストがかかります。現在、主な分散型計算能力 AI 推論の転換点に焦点を当て、Gensyn の幸運も祈っています。
最後に、古い Akash ですが、基本的に Render Network と一緒に始まりました。Akash は CPU の分散化に焦点を当て、Render Network は GPU の分散化に最初に焦点を当てました。予期せぬことに、AI の発生後、両方の当事者が参入しました。 GPU + AI コンピューティングの分野 違いは、Akash は推論にもっと関心を持っています。
Akash復活の鍵は、イーサリアムバージョンアップ後のマイニング問題に目を向けること、遊休GPUは女子大生が中古として個人利用するだけでなく、一緒にAI開発もできるようになりました。それらはすべて人類の文明に貢献しています。
ただし、Akash の良い点の 1 つは、トークンが基本的に完全に流通していることです。結局のところ、非常に古いプロジェクトであり、PoS で一般的に使用されるステーキング システムも積極的に採用しています。しかし、チームはより仏教的なようで、彼らは io.net. が感じるほど若々しくはありません。
さらに、エッジ クラウド コンピューティングの THETA、AI コンピューティング能力のニッチ ソリューションを提供する Phoenix、Bittensor や Ritual などの新旧のコンピューティング企業もありますが、紙面の都合上、すべてをリストすることはできません。見つけるのは非常に困難で、GPU やその他のパラメータの数よりも少ないです。
＃＃＃ 結論
コンピュータ開発の歴史を通して、さまざまなコンピューティング パラダイムの分散バージョンを構築することができます。唯一残念なのは、それらが主流のアプリケーションに影響を与えないことです。現在の Web3 コンピューティング プロジェクトは、主に業界内での自己宣伝です。Near の創設者は、次のサイトに行きました。」 GTC カンファレンス これは、Near の創設者としての地位ではなく、Transformer の著者であるためでもあります。
さらに悲観的なのは、現在のクラウド コンピューティングの市場規模とプレーヤーが強力すぎるということです。io.net が AWS に取って代わることはできますか? 十分な GPU があれば、それは実際に可能です。結局のところ、AWS は長い間、オープンソースの Redis を基盤として使用してきました。成分。
ある意味、オープンソースと分散化の力は同等ではなく、分散化プロジェクトは DeFi などの金融分野に過度に集中しており、AI が主流市場に参入するための重要な道となる可能性があります。
参考:
_2024-03-06_Ai.pdf