**原文：王一川****出典:**シリコン研究協会2023 年 8 月 3 日、ウォール街とシリコンバレーは共同で、業界に衝撃を与えた重大な出来事を発表しました。それは、スタートアップ企業が負債による資金調達で 23 億米ドルを獲得することを許可し、その担保は世界で最も硬い通貨である H100 グラフィックス カードでした。この大きなイベントの主役は CoreWeave と呼ばれるもので、主な事業内容は AI プライベート クラウド サービスで、簡単に言うと、大量の GPU コンピューティング能力を備えたデータセンターを構築することで、AI スタートアップや大規模な商用顧客にコンピューティング インフラストラクチャを提供しています。 CoreWeave は総額 5 億 8,000 万米ドルを調達し、現在シリーズ B にあり、評価額は 20 億米ドルです。CoreWeave は、ウォール街の商品トレーダー 3 人によって 2016 年に設立されました。当初、同社の主力事業はマイニングだけで、マイニング マシン センターを建設するために大量の GPU を購入し、特に為替相場が低迷する時期には大量のグラフィックス カードを備蓄していました。これにより、Nvidia との鉄壁の革命的な友情が確立されました。 *CoreWeave の 3 人の共同創設者*2019 年、CoreWeave は、顧客に AI クラウド サービスを提供するために、これらのマイニング マシンをエンタープライズ レベルのデータ センターに変換し始めました。当初はビジネスは停滞していましたが、ChatGPT の誕生後は、大規模モデルのトレーニングと推論に多くの電力が消費されています。すでに数万枚のグラフィックス カード (もちろん、必ずしも最新モデルである必要はありません) を備えた CoreWeave は急速に普及し、入り口は顧客とベンチャー キャピタルの投資家で混雑しました。しかし、人々が奇妙に感じているのは、CoreWeave が調達した資金が総額 5 億 8,000 万ドルにすぎず、その GPU の純価値が 10 億ドルを超えることはないということです。会社全体の評価額でもわずか 20 億ドルですが、なぜ調達できるのでしょうか。住宅ローンを通じて 23 億米ドルを借りていますが、ドルはどうでしょうか?常に計算に長け、担保価値の削減に熱心なウォール街はなぜこれほど寛大なのでしょうか?その理由はおそらく次のとおりです。CoreWeave にはそれほど多くのグラフィックス カードがありませんが、Nvidia から特に H100 の供給契約を受けています。CoreWeave と Nvidia の緊密な関係は、シリコンバレーではすでに公然の秘密となっています。この種のハードコアは、CoreWeave の NVIDIA に対する揺るぎない忠誠心とサポートに根ざしています。NVIDIA カードのみを使用し、独自のコアは断固として製造せず、グラフィックス カードが売れない場合は NVIDIA がカードを備蓄するのを支援します。 Huang にとって、この関係の価値は、Microsoft、Google、Tesla とのプラスチック的な友情をはるかに超えています。したがって、Nvidia H100 の不足にもかかわらず、Nvidia は、Amazon や Google などの大手メーカーへの供給を制限することを犠牲にしてでも、大量の新しいカードを CoreWeave に割り当てました。 Huang Renxun 氏は電話会議で、「新しい GPU クラウド サービス プロバイダーのグループが台頭するだろう。その中で最も有名なのは CoreWeave であり、彼らは非常にうまくいっている」と賞賛した。23億ドルの投資の一週間前、CoreWeaveはテキサス州に4万2000平方メートルのデータセンターを建設するために16億ドルを投じると発表した。 CoreWeave は Nvidia との関係と優先販売権に頼るだけで、銀行からデータセンター建設資金を借りることができます。このモデルは、土地を取得したらすぐに銀行融資を求める不動産開発業者を彷彿とさせます。したがって、現在の H100 の供給コミットメントは、不動産の黄金時代の土地承認文書に匹敵すると言えます。## H100 は入手困難なカードです今年4月のインタビューでマスク氏はこう訴えた。 [2] : 「今では犬も GPU を購入しているようです。」皮肉なことに、テスラは、TSMCが製造し7nmプロセスを採用した自社開発のD1チップを2021年にもリリースし、当時Nvidiaの主流だったA100を置き換えることができると主張した。しかし 2 年が経過し、Nvidia はより強力な H100 を発売し、Tesla の D1 には後続の反復がありません。そのため、マスク氏が自分の人工知能会社を設立しようとしたときも、依然としてファン氏のドアの前に従順にひざまずかなければなりませんでした。カードを要求してください。H100は昨年9月20日に正式に発売され、TSMC 4Nプロセスで製造されています。従来の A100 と比較して、H100 シングル カードは推論速度が 3.5 倍、トレーニング速度が 2.3 倍向上し、サーバー クラスター コンピューティング方式を使用すると、トレーニング速度を 9 倍に高めることができます。所要時間はわずか 20 時間です。 *GH100 アーキテクチャ図*A100と比較すると、H100のカード1枚の価格はA100の約1.5～2倍と高価ですが、大規模モデルの学習効率が200％向上しているため、「1ドルあたりのパフォーマンス」が高くなります。 。 NVIDIA の最新の高速接続システム ソリューションと組み合わせると、1 ドルあたりの GPU パフォーマンスが 4 ～ 5 倍になる可能性があるため、顧客からの熱望が高まっています。H100 の購入を急ぐ顧客は主に 3 つのカテゴリーに分類されます。1 つ目のカテゴリは、Microsoft Azure、Google GCP、Amazon AWS などの総合的なクラウド コンピューティングの巨人です。彼らの特徴は、潤沢な資金を持ち、事あるごとにNVIDIAの生産能力を「カバー」しようとすることだが、各社とも隠れた思惑を持っており、NVIDIAのほぼ独占的な立場に不満を抱き、コスト削減のために密かに自社チップを開発している。2 番目のカテゴリは独立系クラウド GPU サービス プロバイダーであり、代表的な企業には前述の CoreWeave、Lambda、RunPod などが含まれます。このような企業のコンピューティング能力は比較的小さいですが、差別化されたサービスを提供することができ、Nvidia もそのような企業を強力にサポートしており、CoreWeave や Lambda にも直接投資しています。3 番目のカテゴリは、LLM (大規模言語モデル) を自社でトレーニングしている大企業と中小企業です。これらには、Apple、Tesla、Meta などのテクノロジー大手だけでなく、Anthropic、Inflection、Midjourney などのスタートアップ企業も含まれます。彼らは通常、外部のクラウド サービス プロバイダーのコンピューティング能力を使用しながら、独自のストーブを構築するために独自の GPU を購入します。お金のある人はより多くのものを購入し、お金のない人はより少ないものを購入します。主な目標は、人々が裕福で倹約できるようにすることです。これら 3 種類の顧客のうち、Microsoft Azure には少なくとも 50,000 台の H100 があり、Google には約 30,000 台、Oracle には約 20,000 台、Tesla と Amazon には少なくとも 10,000 台の H100 があり、CoreWeave には 35,000 台の割り当てコミットメントがあると言われています (実際の納品は約 10,000 台)。 10,000）。他の会社では10,000部を超えることはほとんどありません。これら 3 種類の顧客は合計で何台の H100 を必要としますか?海外団体GPU Utilsの予測によると、現在のH100の需要は約43万2000台。このうち、OpenAIはGPT-5の学習に5万枚、Inflectionは2万2千枚、Metaは2万5千枚（10万枚という説もある）が必要で、主要パブリッククラウドベンダー4社はそれぞれ最低3万枚、つまり10万枚必要となる。他の小型模型メーカーも 100,000 個の需要があります。 [3] 。NvidiaのH100の2023年の出荷量は約50万枚となるが、現在TSMCの生産能力はまだ増加しており、年末までにH100カードの厳しい状況は緩和されるだろう。しかし、長期的には、AIGC アプリケーションの爆発的な増加に伴い、H100 の需要と供給のギャップは拡大し続けるでしょう。フィナンシャル・タイムズ紙によると、2024年のH100の出荷量は150万～200万枚に達し、今年の50万枚と比べて3～4倍に増加するという。 [4] 。ウォール街の予測はより積極的で、アメリカの投資銀行パイパー・サンドラー氏は、来年の Nvidia のデータセンター収益が 600 億米ドルを超えると考えています (24 年度第 2 四半期: 103 億 2,000 万米ドル) このデータによると、A+H カードの出荷枚数は 300 万枚近くになります。さらに誇張された見積もりもあります。某H100サーバー最大手ファウンドリ（市場シェア70～80％）は今年6月からH100サーバーを出荷しており、7月に入っても生産能力は増加し続けている。最近の調査によると、ファウンドリは 2024 年の A+H カードの出荷量が 450 万枚から 500 万枚になると考えています。H100 の巨額の利益は他の業界の人々には想像できないものであるため、これは Nvidia にとって「莫大な富」を意味します。## グラフィック カードはゴールドよりも高価ですH100 の収益性を調べるには、部品表 (BOM) を完全に分解したほうがよいでしょう。図に示すように、H100 の最も一般的なバージョンである H100 SXM は、TSMC CoWoS 7 チップ パッケージを採用しており、中央のロジック チップを囲むように 6 つの 16G HBM3 チップが 2 列に配置されています。これも H100 の 3 つの最も重要な部分であるロジック チップ、HBM メモリ チップ、CoWoS パッケージを構成し、さらに PCB ボードやその他の補助デバイスなどの補助デバイスもありますが、その価値は高くありません。 *H100分解図*コアロジックチップのサイズは814mm^2で、TSMCの最先端の台南第18工場で生産され、プロセスノードは「4N」で、名前は4で始まりますが、実際には5nm+です。 5nmの下流、携帯電話などの分野の景気が低迷しているため、TSMCはロジックチップの供給を保証することに問題がない。そして、このロジックチップは12インチ(面積70,695mm^2)のウエハーを切り出して生産されており、理想的には86個切り出すことができますが、歩留まり80%と「4N」ラインの切断ロスを考慮すると最後の1個になります。 12 インチのウェハから切り出せるコアのロジック チップは 65 個のみです。このコアロジックチップの価格はいくらですか? TSMCの2023年の12インチウエハーの外部見積額は1万3400ドルなので、1枚あたりに換算すると約200ドルとなる。次の 6 個の HBM3 チップは、現在 SK Hynix が独占的に供給しています。現代エレクトロニクスを起源とするこの企業は、2002 年に Micron とほぼ提携しました。政府の輸血と反景気循環の生産能力戦略により、現在は HBM の傘下にあります。量産技術の点では、Micron より少なくとも 3 年は進んでいます (Micron は HBM2e に留まり、Hynix は 2020 年半ばに量産される予定です)。HBMの具体的な価格は秘密だが、韓国メディアによると、HBMは現在、既存のDRAM製品の5～6倍となっている。既存の GDDR6 VRAM の価格は 1 GB あたり約 3 ドルであるため、HBM の価格は 1 GB あたり約 15 ドルと推定されます。 H100 SXM の価格は HBM で 1,500 ドルです。HBMの価格は今年も上昇し続けており、エヌビディアとメタの幹部も「作業を監督」するためにハイニックスに出向いたが、サムスンのHBM3は今年下半期に徐々に量産され、出荷される予定だ。 HBM がボトルネックになることはなくなります。本当のボトルネックは、2.5D パッケージング プロセスである TSMC の CoWoS パッケージングです。チップ上に直接穴 (TSV) と配線 (RDL) を空ける 3D パッケージングと比較して、CoWoS はより優れたコスト、放熱、スループット帯域幅を提供できます。最初の 2 つは HBM に対応し、後の 2 つは GPU の鍵となります。したがって、高いストレージ容量と高いコンピューティング能力を備えたチップが必要な場合、パッケージングの点で CoWoS が唯一のソリューションになります。 Nvidia と AMD の 4 つの GPU すべてが CoWoS を使用しているという事実が最良の証拠です。CoWoS の料金はいくらですか? TSMCの22年間の財務報告書では、CoWoSプロセスが総収益の7%を占めていることが明らかになったため、海外アナリストのロバート・カステラーノ氏は、生産能力とベアダイのサイズに基づいて、AIチップのパッケージ化によりTSMCに723ドルの収益がもたらされると試算した。 [6] 。したがって、上記3つの最大コスト項目の合計は約2,500ドルとなり、そのうちTSMCが約1,000ドル(ロジックチップ+CoWoS)、SK Hynixが約1,500ドルを占める(サムスンも今後関与することは間違いない)次に、PCB およびその他の材料を数えます。材料コスト全体は 3,000 米ドルを超えません。H100の値段はいくらですか？ 35,000ドル、ゼロを直接加算すると、粗利率は90％を超えます。過去 10 年間、NVIDIA の粗利益率は 60% 程度でしたが、現在、粗利の高い A100/A800/H100 のおかげで、今年第 2 四半期の NVIDIA の粗利益率は 70% に達しています。これは少し直観に反します。NVIDIA は TSMC のファウンドリに大きく依存していますが、そのステータスはアンタッチャブルであり、NVIDIA の首を締めることができる唯一のコアリンクですらあります。しかし、このような 35,000 ドルのカードの場合、それを製造している TSMC が得られるのは 1,000 ドルだけであり、それは単なる収益であり、利益ではありません。しかし、巨額の利益を定義するために粗利益率を使用することは、チップ企業にとってあまり意味がありません。 4N プロセスの 12 インチ ウェーハは、TSMC がほぼ 15,000 ドルで誰にでも販売しており、Nvidia は顧客に小売りを追加できますが、これには当然独自のコツがあります。このトリックの秘密は次のとおりです。Nvidia は本質的にはハードウェア メーカーを装ったソフトウェア会社です。## ソフト堀とハード堀Nvidia の最も強力な武器は、売上総利益率から純利益率を引いた部分に隠されています。AI ブームが到来するまで、Nvidia の粗利益率は年間を通じて約 65% にとどまっていましたが、純利益率は通常わずか 30% でした。今期第2四半期は利益率の高いA100/A800/H100が牽引し、売上総利益率は70％、純利益率は45.81％と高かった。 *過去 3 会計年度における、NVIDIA (NVIDIA) の 1 四半期における売上総利益率と純利益率*Nvidia は現在、世界中で 20,000 人以上の従業員を抱えており、そのほとんどが高給取りのソフトウェアおよびハードウェア エンジニアであり、Glassdoor のデータによると、これらの職種の平均年収は基本的に年間 20 万米ドル以上です。 *NVIDIAの過去10事業年度の研究開発費率*過去 10 年間、NVIDIA の研究開発費の絶対額は急速な成長を維持しており、研究開発費率も 20% 以上で安定的に推移しています。もちろん、2017年にディープラーニング、2021年にマイニング、今年は大型言語モデルなど、ある年に端末需要が勃発すれば、収益の分母は一気に上昇し、研究開発費率は一時的に20％まで低下するだろう。それに応じて、利益も非線形に増加します。NVIDIA が開発した多くのプロジェクトの中で、最も重要なものは間違いなく CUDA です。2003 年、DirectX プログラミングのしきい値が高すぎるという問題を解決するために、Ian Buck のチームは Brook と呼ばれるプログラミング モデルを立ち上げました。これは、後に人々が CUDA と呼ぶもののプロトタイプでもありました。 2006 年に、Buck は NVIDIA に入社し、Jen-Hsun Huang を説得して CUDA を開発しました。 [8] 。CUDA は C 言語環境での並列コンピューティングをサポートしているため、エンジニアの最初の選択肢となり、GPU は汎用プロセッサー (GPGPU) の道を歩み始めました。CUDA が徐々に成熟した後、Buck は再び Huang Renxun を説得し、将来のすべての NVIDIA GPU は CUDA をサポートする必要があると主張しました。 CUDA プロジェクトは 2006 年に設立され、製品は 2007 年に発売されました。当時、NVIDIA の年間収益はわずか 30 億ドルでしたが、CUDA に 5 億ドルを費やし、2017 年までに CUDA だけで研究開発費がそれを超えました。 100億。あるプライベート クラウド会社の CEO はかつてインタビューで、AMD カードの購入は考えていなかったが、これらのカードをデバッグして通常の動作にするには少なくとも 2 か月かかるだろうと述べました。 [3] 。この 2 か月を短縮するために、Nvidia は数百億ドルを投資し、20 年かかりました。チップ業界は半世紀以上にわたって浮き沈みがあり、ハードウェアとエコロジーの両方を販売する、つまり黄仁訓氏の言葉を借りれば「ベアボーン システムを販売している」という Nvidia のような企業はかつてありませんでした。したがって、Nvidia のターゲットは確かにチップ分野の賢人ではなく、システムを販売する別の企業である Apple です。2007 年に CUDA を立ち上げてから世界最大の紙幣印刷工場になるまで、Nvidia にはライバルがいないわけではありません。2008年、当時チップの王であったインテルは、統合ディスプレイプロジェクトにおけるエヌビディアとの協力を中断し、PC分野での「川の支配」を意図して独自の汎用プロセッサー（GPCPU）を発売した。しかし、その後の数年間の製品反復で、Nvidia は宇宙、金融、生物医学など、より強力なコンピューティング能力を必要とする分野に自社プロセッサを推進することを主張したため、Intel は 10 年後に独立グラフィックス カード計画を中止せざるを得なくなりました。それを抑制する見込みがなかったからである。2009 年、Apple の開発チームは OpenCL を立ち上げ、その多用途性によって CUDA のパイの分け前を獲得したいと考えました。しかし、OpenCL は深層学習のエコロジーにおいて CUDA よりもはるかに劣っており、多くの学習フレームワークは CUDA のリリース後に OpenCL をサポートするか、OpenCL をまったくサポートしていません。その結果、OpenCLはディープラーニングで後れを取り、より付加価値の高いビジネスに手を付けることができなくなった。2015 年、AlphaGo が囲碁の分野でデビューを開始し、人工知能の時代の到来を宣言しました。この時、終電に間に合うようにIntelはAMDのGPUを自社のシステムチップに搭載した。両社のコラボレーションは1980年代以来初となる。しかし現在、CPU リーダー、2 番目の子 + 2 番目の GPU の合計市場価値は、GPU リーダーである Nvidia のわずか 1/4 です。現在の観点から見ると、Nvidia の堀はほとんど突破できません。密かに独自の GPU を開発している大口顧客は数多くいますが、その巨大なエコシステムと迅速な反復により、テスラが証明しているように、これらの大口顧客は帝国の亀裂をこじ開けることができません。 NVIDIA の紙幣印刷機ビジネスは当面継続します。おそらく、黄仁訓に暗雲が立ち込める唯一の場所は、多くの顧客と強い需要があるにもかかわらず、H100 が売れないにもかかわらず、人々が歯を食いしばって問題に取り組んでいる場所、つまり世界に一つだけの場所です。**参考資料**[1] クランチベース[2] 「誰もがGPUを買っている」とマスク氏が語るAIスタートアップの詳細 Emerge-tom's HARDWARE[3] Nvidia H100 GPU: 需要と供給 - GPU ユーティリティ[4] サプライチェーン不足でハイテク分野のAIの大成功が遅れる，FT[5] AI 能力の制約 - CoWoS と HBM サプライ チェーン - DYLAN PATEL、MYRON XIE、GERALD WONG、半分析[6] 台湾半導体：Nvidia-Robert Castellanoのチップとパッケージのサプライヤーとして大幅に過小評価され、アルファを求める[7] チップ・ウォーズ、ユウ・シェン[8] CUDAとは何ですか? GPU の並列プログラミング - Martin Heller，InfoWorld[9] NVIDIA DGX H100 ユーザーガイド
クレイジーH100
原文：王一川
**出典:**シリコン研究協会
2023 年 8 月 3 日、ウォール街とシリコンバレーは共同で、業界に衝撃を与えた重大な出来事を発表しました。それは、スタートアップ企業が負債による資金調達で 23 億米ドルを獲得することを許可し、その担保は世界で最も硬い通貨である H100 グラフィックス カードでした。
この大きなイベントの主役は CoreWeave と呼ばれるもので、主な事業内容は AI プライベート クラウド サービスで、簡単に言うと、大量の GPU コンピューティング能力を備えたデータセンターを構築することで、AI スタートアップや大規模な商用顧客にコンピューティング インフラストラクチャを提供しています。 CoreWeave は総額 5 億 8,000 万米ドルを調達し、現在シリーズ B にあり、評価額は 20 億米ドルです。
CoreWeave は、ウォール街の商品トレーダー 3 人によって 2016 年に設立されました。当初、同社の主力事業はマイニングだけで、マイニング マシン センターを建設するために大量の GPU を購入し、特に為替相場が低迷する時期には大量のグラフィックス カードを備蓄していました。これにより、Nvidia との鉄壁の革命的な友情が確立されました。
2019 年、CoreWeave は、顧客に AI クラウド サービスを提供するために、これらのマイニング マシンをエンタープライズ レベルのデータ センターに変換し始めました。当初はビジネスは停滞していましたが、ChatGPT の誕生後は、大規模モデルのトレーニングと推論に多くの電力が消費されています。すでに数万枚のグラフィックス カード (もちろん、必ずしも最新モデルである必要はありません) を備えた CoreWeave は急速に普及し、入り口は顧客とベンチャー キャピタルの投資家で混雑しました。
しかし、人々が奇妙に感じているのは、CoreWeave が調達した資金が総額 5 億 8,000 万ドルにすぎず、その GPU の純価値が 10 億ドルを超えることはないということです。会社全体の評価額でもわずか 20 億ドルですが、なぜ調達できるのでしょうか。住宅ローンを通じて 23 億米ドルを借りていますが、ドルはどうでしょうか?常に計算に長け、担保価値の削減に熱心なウォール街はなぜこれほど寛大なのでしょうか?
その理由はおそらく次のとおりです。CoreWeave にはそれほど多くのグラフィックス カードがありませんが、Nvidia から特に H100 の供給契約を受けています。
CoreWeave と Nvidia の緊密な関係は、シリコンバレーではすでに公然の秘密となっています。この種のハードコアは、CoreWeave の NVIDIA に対する揺るぎない忠誠心とサポートに根ざしています。NVIDIA カードのみを使用し、独自のコアは断固として製造せず、グラフィックス カードが売れない場合は NVIDIA がカードを備蓄するのを支援します。 Huang にとって、この関係の価値は、Microsoft、Google、Tesla とのプラスチック的な友情をはるかに超えています。
したがって、Nvidia H100 の不足にもかかわらず、Nvidia は、Amazon や Google などの大手メーカーへの供給を制限することを犠牲にしてでも、大量の新しいカードを CoreWeave に割り当てました。 Huang Renxun 氏は電話会議で、「新しい GPU クラウド サービス プロバイダーのグループが台頭するだろう。その中で最も有名なのは CoreWeave であり、彼らは非常にうまくいっている」と賞賛した。
23億ドルの投資の一週間前、CoreWeaveはテキサス州に4万2000平方メートルのデータセンターを建設するために16億ドルを投じると発表した。 CoreWeave は Nvidia との関係と優先販売権に頼るだけで、銀行からデータセンター建設資金を借りることができます。このモデルは、土地を取得したらすぐに銀行融資を求める不動産開発業者を彷彿とさせます。
したがって、現在の H100 の供給コミットメントは、不動産の黄金時代の土地承認文書に匹敵すると言えます。
H100 は入手困難なカードです
今年4月のインタビューでマスク氏はこう訴えた。 [2] : 「今では犬も GPU を購入しているようです。」
皮肉なことに、テスラは、TSMCが製造し7nmプロセスを採用した自社開発のD1チップを2021年にもリリースし、当時Nvidiaの主流だったA100を置き換えることができると主張した。しかし 2 年が経過し、Nvidia はより強力な H100 を発売し、Tesla の D1 には後続の反復がありません。そのため、マスク氏が自分の人工知能会社を設立しようとしたときも、依然としてファン氏のドアの前に従順にひざまずかなければなりませんでした。カードを要求してください。
H100は昨年9月20日に正式に発売され、TSMC 4Nプロセスで製造されています。従来の A100 と比較して、H100 シングル カードは推論速度が 3.5 倍、トレーニング速度が 2.3 倍向上し、サーバー クラスター コンピューティング方式を使用すると、トレーニング速度を 9 倍に高めることができます。所要時間はわずか 20 時間です。
A100と比較すると、H100のカード1枚の価格はA100の約1.5～2倍と高価ですが、大規模モデルの学習効率が200％向上しているため、「1ドルあたりのパフォーマンス」が高くなります。 。 NVIDIA の最新の高速接続システム ソリューションと組み合わせると、1 ドルあたりの GPU パフォーマンスが 4 ～ 5 倍になる可能性があるため、顧客からの熱望が高まっています。
H100 の購入を急ぐ顧客は主に 3 つのカテゴリーに分類されます。
1 つ目のカテゴリは、Microsoft Azure、Google GCP、Amazon AWS などの総合的なクラウド コンピューティングの巨人です。彼らの特徴は、潤沢な資金を持ち、事あるごとにNVIDIAの生産能力を「カバー」しようとすることだが、各社とも隠れた思惑を持っており、NVIDIAのほぼ独占的な立場に不満を抱き、コスト削減のために密かに自社チップを開発している。
2 番目のカテゴリは独立系クラウド GPU サービス プロバイダーであり、代表的な企業には前述の CoreWeave、Lambda、RunPod などが含まれます。このような企業のコンピューティング能力は比較的小さいですが、差別化されたサービスを提供することができ、Nvidia もそのような企業を強力にサポートしており、CoreWeave や Lambda にも直接投資しています。
3 番目のカテゴリは、LLM (大規模言語モデル) を自社でトレーニングしている大企業と中小企業です。これらには、Apple、Tesla、Meta などのテクノロジー大手だけでなく、Anthropic、Inflection、Midjourney などのスタートアップ企業も含まれます。彼らは通常、外部のクラウド サービス プロバイダーのコンピューティング能力を使用しながら、独自のストーブを構築するために独自の GPU を購入します。お金のある人はより多くのものを購入し、お金のない人はより少ないものを購入します。主な目標は、人々が裕福で倹約できるようにすることです。
これら 3 種類の顧客のうち、Microsoft Azure には少なくとも 50,000 台の H100 があり、Google には約 30,000 台、Oracle には約 20,000 台、Tesla と Amazon には少なくとも 10,000 台の H100 があり、CoreWeave には 35,000 台の割り当てコミットメントがあると言われています (実際の納品は約 10,000 台)。 10,000）。他の会社では10,000部を超えることはほとんどありません。
これら 3 種類の顧客は合計で何台の H100 を必要としますか?海外団体GPU Utilsの予測によると、現在のH100の需要は約43万2000台。このうち、OpenAIはGPT-5の学習に5万枚、Inflectionは2万2千枚、Metaは2万5千枚（10万枚という説もある）が必要で、主要パブリッククラウドベンダー4社はそれぞれ最低3万枚、つまり10万枚必要となる。他の小型模型メーカーも 100,000 個の需要があります。 [3] 。
NvidiaのH100の2023年の出荷量は約50万枚となるが、現在TSMCの生産能力はまだ増加しており、年末までにH100カードの厳しい状況は緩和されるだろう。
しかし、長期的には、AIGC アプリケーションの爆発的な増加に伴い、H100 の需要と供給のギャップは拡大し続けるでしょう。フィナンシャル・タイムズ紙によると、2024年のH100の出荷量は150万～200万枚に達し、今年の50万枚と比べて3～4倍に増加するという。 [4] 。
ウォール街の予測はより積極的で、アメリカの投資銀行パイパー・サンドラー氏は、来年の Nvidia のデータセンター収益が 600 億米ドルを超えると考えています (24 年度第 2 四半期: 103 億 2,000 万米ドル) このデータによると、A+H カードの出荷枚数は 300 万枚近くになります。
さらに誇張された見積もりもあります。某H100サーバー最大手ファウンドリ（市場シェア70～80％）は今年6月からH100サーバーを出荷しており、7月に入っても生産能力は増加し続けている。最近の調査によると、ファウンドリは 2024 年の A+H カードの出荷量が 450 万枚から 500 万枚になると考えています。
H100 の巨額の利益は他の業界の人々には想像できないものであるため、これは Nvidia にとって「莫大な富」を意味します。
グラフィック カードはゴールドよりも高価です
H100 の収益性を調べるには、部品表 (BOM) を完全に分解したほうがよいでしょう。
図に示すように、H100 の最も一般的なバージョンである H100 SXM は、TSMC CoWoS 7 チップ パッケージを採用しており、中央のロジック チップを囲むように 6 つの 16G HBM3 チップが 2 列に配置されています。
これも H100 の 3 つの最も重要な部分であるロジック チップ、HBM メモリ チップ、CoWoS パッケージを構成し、さらに PCB ボードやその他の補助デバイスなどの補助デバイスもありますが、その価値は高くありません。
コアロジックチップのサイズは814mm^2で、TSMCの最先端の台南第18工場で生産され、プロセスノードは「4N」で、名前は4で始まりますが、実際には5nm+です。 5nmの下流、携帯電話などの分野の景気が低迷しているため、TSMCはロジックチップの供給を保証することに問題がない。
そして、このロジックチップは12インチ(面積70,695mm^2)のウエハーを切り出して生産されており、理想的には86個切り出すことができますが、歩留まり80%と「4N」ラインの切断ロスを考慮すると最後の1個になります。 12 インチのウェハから切り出せるコアのロジック チップは 65 個のみです。
このコアロジックチップの価格はいくらですか? TSMCの2023年の12インチウエハーの外部見積額は1万3400ドルなので、1枚あたりに換算すると約200ドルとなる。
次の 6 個の HBM3 チップは、現在 SK Hynix が独占的に供給しています。現代エレクトロニクスを起源とするこの企業は、2002 年に Micron とほぼ提携しました。政府の輸血と反景気循環の生産能力戦略により、現在は HBM の傘下にあります。量産技術の点では、Micron より少なくとも 3 年は進んでいます (Micron は HBM2e に留まり、Hynix は 2020 年半ばに量産される予定です)。
HBMの具体的な価格は秘密だが、韓国メディアによると、HBMは現在、既存のDRAM製品の5～6倍となっている。既存の GDDR6 VRAM の価格は 1 GB あたり約 3 ドルであるため、HBM の価格は 1 GB あたり約 15 ドルと推定されます。 H100 SXM の価格は HBM で 1,500 ドルです。
HBMの価格は今年も上昇し続けており、エヌビディアとメタの幹部も「作業を監督」するためにハイニックスに出向いたが、サムスンのHBM3は今年下半期に徐々に量産され、出荷される予定だ。 HBM がボトルネックになることはなくなります。
本当のボトルネックは、2.5D パッケージング プロセスである TSMC の CoWoS パッケージングです。チップ上に直接穴 (TSV) と配線 (RDL) を空ける 3D パッケージングと比較して、CoWoS はより優れたコスト、放熱、スループット帯域幅を提供できます。最初の 2 つは HBM に対応し、後の 2 つは GPU の鍵となります。
したがって、高いストレージ容量と高いコンピューティング能力を備えたチップが必要な場合、パッケージングの点で CoWoS が唯一のソリューションになります。 Nvidia と AMD の 4 つの GPU すべてが CoWoS を使用しているという事実が最良の証拠です。
CoWoS の料金はいくらですか? TSMCの22年間の財務報告書では、CoWoSプロセスが総収益の7%を占めていることが明らかになったため、海外アナリストのロバート・カステラーノ氏は、生産能力とベアダイのサイズに基づいて、AIチップのパッケージ化によりTSMCに723ドルの収益がもたらされると試算した。 [6] 。
したがって、上記3つの最大コスト項目の合計は約2,500ドルとなり、そのうちTSMCが約1,000ドル(ロジックチップ+CoWoS)、SK Hynixが約1,500ドルを占める(サムスンも今後関与することは間違いない)次に、PCB およびその他の材料を数えます。材料コスト全体は 3,000 米ドルを超えません。
H100の値段はいくらですか？ 35,000ドル、ゼロを直接加算すると、粗利率は90％を超えます。過去 10 年間、NVIDIA の粗利益率は 60% 程度でしたが、現在、粗利の高い A100/A800/H100 のおかげで、今年第 2 四半期の NVIDIA の粗利益率は 70% に達しています。
これは少し直観に反します。NVIDIA は TSMC のファウンドリに大きく依存していますが、そのステータスはアンタッチャブルであり、NVIDIA の首を締めることができる唯一のコアリンクですらあります。しかし、このような 35,000 ドルのカードの場合、それを製造している TSMC が得られるのは 1,000 ドルだけであり、それは単なる収益であり、利益ではありません。
しかし、巨額の利益を定義するために粗利益率を使用することは、チップ企業にとってあまり意味がありません。 4N プロセスの 12 インチ ウェーハは、TSMC がほぼ 15,000 ドルで誰にでも販売しており、Nvidia は顧客に小売りを追加できますが、これには当然独自のコツがあります。
このトリックの秘密は次のとおりです。Nvidia は本質的にはハードウェア メーカーを装ったソフトウェア会社です。
ソフト堀とハード堀
Nvidia の最も強力な武器は、売上総利益率から純利益率を引いた部分に隠されています。
AI ブームが到来するまで、Nvidia の粗利益率は年間を通じて約 65% にとどまっていましたが、純利益率は通常わずか 30% でした。今期第2四半期は利益率の高いA100/A800/H100が牽引し、売上総利益率は70％、純利益率は45.81％と高かった。
Nvidia は現在、世界中で 20,000 人以上の従業員を抱えており、そのほとんどが高給取りのソフトウェアおよびハードウェア エンジニアであり、Glassdoor のデータによると、これらの職種の平均年収は基本的に年間 20 万米ドル以上です。
過去 10 年間、NVIDIA の研究開発費の絶対額は急速な成長を維持しており、研究開発費率も 20% 以上で安定的に推移しています。もちろん、2017年にディープラーニング、2021年にマイニング、今年は大型言語モデルなど、ある年に端末需要が勃発すれば、収益の分母は一気に上昇し、研究開発費率は一時的に20％まで低下するだろう。それに応じて、利益も非線形に増加します。
NVIDIA が開発した多くのプロジェクトの中で、最も重要なものは間違いなく CUDA です。
2003 年、DirectX プログラミングのしきい値が高すぎるという問題を解決するために、Ian Buck のチームは Brook と呼ばれるプログラミング モデルを立ち上げました。これは、後に人々が CUDA と呼ぶもののプロトタイプでもありました。 2006 年に、Buck は NVIDIA に入社し、Jen-Hsun Huang を説得して CUDA を開発しました。 [8] 。
CUDA は C 言語環境での並列コンピューティングをサポートしているため、エンジニアの最初の選択肢となり、GPU は汎用プロセッサー (GPGPU) の道を歩み始めました。
CUDA が徐々に成熟した後、Buck は再び Huang Renxun を説得し、将来のすべての NVIDIA GPU は CUDA をサポートする必要があると主張しました。 CUDA プロジェクトは 2006 年に設立され、製品は 2007 年に発売されました。当時、NVIDIA の年間収益はわずか 30 億ドルでしたが、CUDA に 5 億ドルを費やし、2017 年までに CUDA だけで研究開発費がそれを超えました。 100億。
あるプライベート クラウド会社の CEO はかつてインタビューで、AMD カードの購入は考えていなかったが、これらのカードをデバッグして通常の動作にするには少なくとも 2 か月かかるだろうと述べました。 [3] 。この 2 か月を短縮するために、Nvidia は数百億ドルを投資し、20 年かかりました。
チップ業界は半世紀以上にわたって浮き沈みがあり、ハードウェアとエコロジーの両方を販売する、つまり黄仁訓氏の言葉を借りれば「ベアボーン システムを販売している」という Nvidia のような企業はかつてありませんでした。したがって、Nvidia のターゲットは確かにチップ分野の賢人ではなく、システムを販売する別の企業である Apple です。
2007 年に CUDA を立ち上げてから世界最大の紙幣印刷工場になるまで、Nvidia にはライバルがいないわけではありません。
2008年、当時チップの王であったインテルは、統合ディスプレイプロジェクトにおけるエヌビディアとの協力を中断し、PC分野での「川の支配」を意図して独自の汎用プロセッサー（GPCPU）を発売した。しかし、その後の数年間の製品反復で、Nvidia は宇宙、金融、生物医学など、より強力なコンピューティング能力を必要とする分野に自社プロセッサを推進することを主張したため、Intel は 10 年後に独立グラフィックス カード計画を中止せざるを得なくなりました。それを抑制する見込みがなかったからである。
2009 年、Apple の開発チームは OpenCL を立ち上げ、その多用途性によって CUDA のパイの分け前を獲得したいと考えました。しかし、OpenCL は深層学習のエコロジーにおいて CUDA よりもはるかに劣っており、多くの学習フレームワークは CUDA のリリース後に OpenCL をサポートするか、OpenCL をまったくサポートしていません。その結果、OpenCLはディープラーニングで後れを取り、より付加価値の高いビジネスに手を付けることができなくなった。
2015 年、AlphaGo が囲碁の分野でデビューを開始し、人工知能の時代の到来を宣言しました。この時、終電に間に合うようにIntelはAMDのGPUを自社のシステムチップに搭載した。両社のコラボレーションは1980年代以来初となる。しかし現在、CPU リーダー、2 番目の子 + 2 番目の GPU の合計市場価値は、GPU リーダーである Nvidia のわずか 1/4 です。
現在の観点から見ると、Nvidia の堀はほとんど突破できません。密かに独自の GPU を開発している大口顧客は数多くいますが、その巨大なエコシステムと迅速な反復により、テスラが証明しているように、これらの大口顧客は帝国の亀裂をこじ開けることができません。 NVIDIA の紙幣印刷機ビジネスは当面継続します。
おそらく、黄仁訓に暗雲が立ち込める唯一の場所は、多くの顧客と強い需要があるにもかかわらず、H100 が売れないにもかかわらず、人々が歯を食いしばって問題に取り組んでいる場所、つまり世界に一つだけの場所です。
参考資料
[1] クランチベース
[2] 「誰もがGPUを買っている」とマスク氏が語るAIスタートアップの詳細 Emerge-tom's HARDWARE
[3] Nvidia H100 GPU: 需要と供給 - GPU ユーティリティ
[4] サプライチェーン不足でハイテク分野のAIの大成功が遅れる，FT
[5] AI 能力の制約 - CoWoS と HBM サプライ チェーン - DYLAN PATEL、MYRON XIE、GERALD WONG、半分析
[6] 台湾半導体：Nvidia-Robert Castellanoのチップとパッケージのサプライヤーとして大幅に過小評価され、アルファを求める
[7] チップ・ウォーズ、ユウ・シェン
[8] CUDAとは何ですか? GPU の並列プログラミング - Martin Heller，InfoWorld
[9] NVIDIA DGX H100 ユーザーガイド