3 Ağustos 2023'te Wall Street ve Silikon Vadisi ortaklaşa sektörü şok eden büyük bir olayı sundular: yeni kurulan bir şirketin 2,3 milyar ABD doları tutarında borç finansmanı elde etmesine olanak tanındı ve teminat, H100 grafik kartındaki dünyadaki en zor para birimiydi.
Bu büyük etkinliğin kahramanı CoreWeave olarak adlandırılıyor. Ana işi AI özel bulut hizmetleridir. Basitçe söylemek gerekirse, büyük miktarda GPU bilgi işlem gücüne sahip bir veri merkezi oluşturarak AI startup'ları ve büyük ticari müşteriler için bilgi işlem altyapısı sağlar. CoreWeave toplam 580 milyon ABD Doları topladı ve şu anda 2 milyar ABD Doları değerindeki B Serisinde yer alıyor.
CoreWeave, 2016 yılında üç Wall Street emtia tüccarı tarafından kuruldu. Başlangıçta şirketin tek bir ana işi vardı: madencilik ve bir madencilik makine merkezi inşa etmek için çok sayıda GPU satın aldı.Özellikle döviz kurunun düşük olduğu zamanlarda şirket çok sayıda grafik kartını stokluyordu. döngüsel olarak hareket etti ve böylece Nvidia ile sağlam bir devrimci dostluk kurdu.
CoreWeave'in üç kurucu ortağı
2019 yılında CoreWeave, müşterilere yapay zeka bulut hizmetleri sağlamak için bu madencilik makinelerini kurumsal düzeyde veri merkezlerine dönüştürmeye başladı. Başlangıçta işler durgun değildi, ancak ChatGPT'nin doğuşundan sonra büyük modellerin eğitimi ve muhakemesi çok fazla tüketiyor Halihazırda onbinlerce grafik kartına (tabii ki son model olması gerekmiyor) sahip olan CoreWeave hızla yola çıktı ve kapısı müşteriler ve risk sermayesi yatırımcılarıyla doldu.
Ancak insanları tuhaf hissettiren şey, CoreWeave'in yalnızca toplam 580 milyon ABD doları toplamış olması ve GPU'sunun net değerinin 1 milyar ABD dolarını geçmeyecek olmasıdır. Şirketin genel değerlemesi bile yalnızca 2 milyar ABD dolarıdır, ancak neden ipotek yoluyla 2,3 milyar ABD doları borç alıyor Peki ya dolar? Hesaplamada her zaman iyi olan ve teminatların değerini düşürmeye hevesli olan Wall Street neden bu kadar cömert?
Sebebi ise büyük ihtimalle şu: CoreWeave'in hesabında çok fazla ekran kartı bulunmamasına rağmen, başta H100 olmak üzere Nvidia'dan tedarik taahhüdü almış durumda.
CoreWeave'in Nvidia ile sağlam ilişkisi zaten Silikon Vadisi'nde açık bir sır. Bu tür bir hardcore, CoreWeave'in Nvidia'ya olan sarsılmaz sadakatine ve desteğine dayanmaktadır - yalnızca Nvidia kartlarını kullanın, kararlı bir şekilde kendi başına çekirdek oluşturmayın ve grafik kartı satılamadığında Nvidia'nın kart stoklamasına yardımcı olun. Huang Renxun'a göre bu ilişkinin altın içeriği Microsoft, Google ve Tesla ile olan plastik dostlukların çok ötesinde.
Bu nedenle, Nvidia H100 sıkıntısına rağmen Nvidia, Amazon ve Google gibi büyük üreticilere tedariki sınırlama pahasına bile CoreWeave'e çok sayıda yeni kart tahsis etti. Huang Renxun konferans görüşmesinde şunları övdü: "En ünlüsü CoreWeave olan bir grup yeni GPU bulut hizmet sağlayıcısı ortaya çıkacak ve çok iyi gidiyorlar."
Xi'nin 2,3 milyar doları toplamasından bir hafta önce CoreWeave, Teksas'ta 42.000 metrekarelik bir alanı kapsayan bir veri merkezi inşa etmek için 1,6 milyar dolar harcayacağını açıklamıştı. CoreWeave, yalnızca Nvidia ile olan ilişkisine ve öncelikli dağıtım haklarına dayanarak veri merkezini inşa etmek için bankadan borç para alabiliyor; bu model, insanlara araziyi aldıktan hemen sonra banka kredisi arayan emlak geliştiricilerini hatırlatıyor.
Yani mevcut H100 tedarik taahhüdünün, gayrimenkulün altın çağındaki bir arsa onayına benzediği söylenebilir.
H100'ü bulmak zor
Musk bu yılın nisan ayında verdiği bir röportajda şikayette bulundu. [2] : "Görünüşe göre artık köpekler bile GPU satın alıyor."
İronik bir şekilde Tesla, TSMC tarafından üretilen ve 7 nm'lik bir süreci benimseyen, kendi geliştirdiği D1 çipini 2021 gibi erken bir tarihte piyasaya sürdü ve o dönemde Nvidia'nın ana akım A100'ünün yerini alabileceğini iddia etti. Ancak 2 yıl geçti, Nvidia daha güçlü H100'ü piyasaya sürdü ve Tesla'nın D1'inin devamı yok, bu yüzden Musk kendi yapay zeka şirketini kurmaya çalıştığında yine de Bay Huang'ın kapısının önünde itaatkar bir şekilde diz çökmek zorunda kaldı ve bir kart için yalvarıyorum.
H100, TSMC'nin 4N süreciyle üretilen, geçen yıl 20 Eylül'de resmi olarak piyasaya sürüldü. Önceki modeli A100 ile karşılaştırıldığında H100 tek kart, çıkarım hızını 3,5 kat, eğitim hızını ise 2,3 kat artırır.Sunucu kümesi hesaplama yöntemi kullanılırsa eğitim hızı 9 kata çıkarılabilir.Orijinal iş yükü bir haftadır Şimdi sadece 20 saat sürüyor.
GH100 Mimari Şeması
A100 ile karşılaştırıldığında, H100'ün tek kartının fiyatı A100'ün yaklaşık 1,5 ila 2 katı kadar daha pahalıdır, ancak büyük modellerin eğitim verimliliği %200 oranında artmıştır, dolayısıyla "tek dolarlık performans" şu şekilde hesaplanır: bu hesaplama daha yüksektir. NVIDIA'nın en yeni yüksek hızlı bağlantı sistemi çözümüyle eşleştirildiğinde dolar başına GPU performansı 4-5 kat daha yüksek olabilir, bu nedenle müşteriler tarafından büyük bir ilgiyle karşılanır.
H100 satın almak için acele eden müşteriler esas olarak üç kategoriye ayrılıyor:
İlk kategori Microsoft Azure, Google GCP ve Amazon AWS gibi kapsamlı bulut bilişim devleridir. Karakteristikleri, zengin ve güçlü olmaları ve her fırsatta Nvidia'nın üretim kapasitesini "kuşatmak" istemeleridir, ancak her biri aynı zamanda kendi düşüncelerini de gizler, Nvidia'nın neredeyse tekele yakın konumundan memnun değildir ve bu kapasiteyi azaltmak için gizlice kendi çiplerini geliştirir. maliyetler.
İkinci kategori bağımsız bulut GPU hizmet sağlayıcılarıdır. Tipik şirketler arasında yukarıda bahsedilen CoreWeave, Lambda, RunPod vb. yer alır. Bu tür şirketlerin bilgi işlem gücü nispeten küçüktür, ancak farklılaştırılmış hizmetler sağlayabilirler.Nvidia da bu tür şirketleri güçlü bir şekilde destekliyor ve hatta CoreWeave ve Lambda'ya doğrudan yatırım yapıyor.Göz damlası uygulayın.
Üçüncü kategori ise LLM (Large Language Model) eğitimi veren büyük ve küçük şirketlerdir. Anthropic, Inflection ve Midjourney gibi startupların yanı sıra Apple, Tesla ve Meta gibi teknoloji devlerini de içeriyor. Kendi ocaklarını inşa etmek için kendi GPU'larını satın alırken genellikle harici bulut hizmet sağlayıcılarının bilgi işlem gücünü kullanırlar; parası olanlar daha fazla satın alır, parası olmayanlar daha az satın alır ve asıl amaç insanların zengin ve tutumlu olmalarını sağlamaktır.
Bu üç müşteri türü arasında Microsoft Azure'un en az 50.000 H100'ü, Google'ın yaklaşık 30.000 H100'ü, Oracle'ın yaklaşık 20.000'i ve Tesla ve Amazon'un da en az yaklaşık 10.000'i vardır. CoreWeave'in 35.000 kopya taahhüdü olduğu bildirilmektedir (gerçek teslimat şu şekildedir: yaklaşık 10.000). Çok az şirketin 10.000'den fazla bilete sahip olduğu görülüyor.
Bu üç tip müşterinin toplamda kaç adet H100'e ihtiyacı var? Yurt dışı kuruluş GPU Utils'in tahminlerine göre H100'e yönelik mevcut talep yaklaşık 432.000. Bunlar arasında, OpenAI'nin GPT-5'i eğitmek için 50.000 sayfaya, Inflection'ın 22.000 sayfaya, Meta'nın 25.000 sayfaya (bazılarına göre 100.000 sayfa) ve dört büyük genel bulut sağlayıcısının her birinin en az 30.000 sayfaya ihtiyacı vardır. Bu 100.000 parçadır ve diğer küçük model üreticilerinin de 100.000 adetlik talebi var. [3] .
Nvidia'nın 2023 yılındaki H100 sevkiyatı 500.000 adet civarında olacak.Şu anda TSMC'nin üretim kapasitesi hala artıyor.Yıl sonuna doğru H100 kartların içinde bulunduğu zor durum hafifleyecek.
Ancak uzun vadede AIGC uygulamalarının patlamasıyla H100'ün arz ve talep açığı artmaya devam edecek. Financial Times'a göre 2024 yılında H100 sevkiyatları, bu yılki 500.000 sayfaya kıyasla 3-4 kat artışla 1,5 milyon ila 2 milyon sayfaya kadar çıkacak. [4] .
Wall Street'in tahminleri daha da radikal: ABD yatırım bankası Piper Sandler, Nvidia'nın veri merkezi gelirinin gelecek yıl 60 milyar ABD dolarını aşacağına inanıyor (24.Ç2: 10,32 milyar ABD doları) Bu verilere göre, A+H kartlarının sevkiyat hacmi 3'e yakın milyon kopya.
Daha da abartılı tahminler var. Belirli bir H100 sunucusunun en büyük dökümhanesi (%70-%80 pazar payına sahip) bu yılın Haziran ayından bu yana H100 sunucuları sevk ediyor ve üretim kapasitesi Temmuz ayında artmaya devam etti. Yakın zamanda yapılan bir anket, dökümhanenin 2024 yılında A+H kartlarının sevkiyat hacminin 4,5 milyon ile 5 milyon arasında olacağına inandığını gösteriyor.
Bu, Nvidia için "zenginlik ve zenginlik" anlamına geliyor, çünkü H100'ün devasa kârının derecesi diğer sektörlerdeki insanlar için hayal bile edilemez.
Grafik kartları altından daha pahalı
H100'ün ne kadar karlı olduğunu anlamak için malzeme listesini (BOM) parçalara ayırabiliriz.
Şekilde gösterildiği gibi, H100'ün en çok yönlü versiyonu olan H100 SXM, TSMC'nin CoWoS 7 kalıplı paketini kullanıyor. Altı adet 16G HBM3 yongası, orta mantık yongasını yakın bir şekilde çevreleyen iki sıra halinde düzenlenmiştir.
Ve bu aynı zamanda H100'ün en önemli üç parçasını oluşturur: mantık çipi, HBM bellek çipi, CoWoS paketi, ayrıca PCB kartı ve diğerleri gibi bazı yardımcı cihazlar vardır, ancak değeri yüksek değildir.
H100 sökme şeması
Çekirdek mantık yongası boyutu 814mm^2 olup, TSMC'nin en gelişmiş Tainan Fabrikası No. 18'de üretilmiştir ve kullanılan işlem düğümü "4N"dir. Adı 4 ile başlasa da aslında 5nm+'dir. Cep telefonları gibi 5nm alt alanlarındaki zayıf refah nedeniyle TSMC'nin mantık çiplerinin tedariğinin sağlanmasında herhangi bir sorunu bulunmuyor.
Ve bu mantık çipi 12 inçlik (alanı 70,695mm^2) bir gofretin kesilmesiyle üretiliyor.İdeal olarak 86 parça kesilebilir ancak sonuncusu olan "4N" hattının %80 verim oranı ve kesme kaybı göz önüne alındığında 12 inçlik bir levhadan yalnızca 65 çekirdekli mantık yongası kesilebilir.
Bu çekirdek mantık çipinin maliyeti ne kadar? TSMC'nin 2023 yılında 12 inçlik levha için dış teklifi 13.400 ABD Dolarıdır, dolayısıyla tek bir birime dönüştürüldüğünde maliyeti yaklaşık 200 ABD Doları olacaktır.
Sırada, şu anda yalnızca SK Hynix tarafından tedarik edilen 6 adet HBM3 çip var. Bu şirket, modern elektronikten doğmuştur. 2002 yılında neredeyse kendisini Micron'a adamıştır. Seri üretim teknolojisi açısından Micron'dan en az 3 yıl ileridedir (Micron, HBM2e'de sıkıştı ve Hynix bunu 2020 ortalarında seri üretecek).
HBM'nin spesifik fiyatı gizli tutuluyor ancak Kore medyasına göre HBM şu anda mevcut DRAM ürünlerinin 5-6 katı. Mevcut GDDR6 VRAM'in fiyatı GB başına yaklaşık 3 ABD dolarıdır, dolayısıyla HBM'nin fiyatının GB başına 15 ABD doları civarında olacağı tahmin edilmektedir. Bir H100 SXM'nin HBM'de maliyeti 1500 dolardır.
Her ne kadar HBM'nin fiyatı bu yıl artmaya devam etse ve Nvidia ve Meta yöneticileri de "işi denetlemek" için Hynix'e gitse de, Samsung'un HBM3'ü yavaş yavaş seri üretilecek ve yılın ikinci yarısında sevk edilecek. Koreli ikilinin atalarının kanı, gelecek yıla kadar HBM artık bir darboğaz olmayacak.
Gerçek darboğaz TSMC'nin 2.5D paketleme süreci olan CoWoS paketlemesidir. Çip üzerinde doğrudan delik (TSV) ve kablolama (RDL) açan 3D paketlemeyle karşılaştırıldığında CoWoS, daha iyi maliyet, ısı dağıtımı ve üretim bant genişliği sağlayabilir.İlk ikisi HBM'ye karşılık gelir ve son ikisi GPU'nun anahtarıdır.
Yani yüksek depolama kapasitesine ve yüksek bilgi işlem gücüne sahip bir çip istiyorsanız paketleme açısından CoWoS tek çözümdür. Nvidia ve AMD'nin dört GPU'sunun da CoWoS kullanması bunun en iyi kanıtıdır.
CoWoS'un maliyeti ne kadar? TSMC'nin 22 yıllık mali raporu, CoWoS sürecinin toplam gelirin %7'sini oluşturduğunu açıkladı; bu nedenle yurtdışı analist Robert Castellano, üretim kapasitesine ve çıplak kalıbın boyutuna göre bir AI çipinin paketlenmesinin TSMC'ye 723 $ gelir getirebileceğini hesapladı [6] .
Dolayısıyla yukarıdaki en büyük üç maliyet kaleminin toplamı yaklaşık 2.500 ABD dolarıdır, bunun yaklaşık 1.000 ABD dolarını TSMC (mantık çipi + CoWoS), SK Hynix ise 1.500 ABD dolarını oluşturur (Samsung gelecekte kesinlikle dahil olacaktır) ve ardından PCB ve diğer malzemeleri sayarsanız, toplam malzeme maliyeti 3.000 ABD Dolarını aşmaz.
H100'ün fiyatı ne kadar? 35.000 ABD dolarına sadece bir sıfır ekleyin ve brüt kâr oranı %90'ı aşıyor. Son 10 yılda NVIDIA'nın brüt kar marjı %60 civarındaydı.Şimdi A100/A800/H100'ün yüksek brüt kârının etkisiyle NVIDIA'nın brüt kar marjı bu yılın ikinci çeyreğinde %70'e ulaştı.
Bu biraz mantığa aykırı: Nvidia, statüsü dokunulmaz olan ve hatta Nvidia'nın boynunu boğabilecek tek çekirdek halka olan TSMC'nin dökümhanesine büyük ölçüde güveniyor. Ancak 35.000 dolarlık böyle bir kart için, bunu yapan TSMC yalnızca 1.000 dolar alabiliyor ve bu sadece gelir, kâr değil.
Ancak büyük karı tanımlamak için brüt kar marjını kullanmak çip şirketleri için pek bir şey ifade etmiyor, kumla başlarsanız brüt kar marjı daha yüksek olacaktır. 4N işlemine sahip 12 inçlik bir gofret olan TSMC, bunu herkese neredeyse 15.000 ABD dolarına satıyor ve Nvidia, doğal olarak kendi becerisine sahip olan müşterilere perakende satış ekleyebiliyor.
Bu numaranın sırrı şudur: Nvidia aslında donanım üreticisi kılığına giren bir yazılım şirketidir.
Yazılım ve donanımı entegre eden bir hendek
NVIDIA'nın en güçlü silahı brüt kar marjından net kar marjının çıkarılmasında gizlidir.
Bu yapay zeka patlamasından önce Nvidia'nın brüt kar marjı tüm yıl boyunca %65 civarında kalırken net kar marjı genellikle sadece %30'du. Bu yılın ikinci çeyreğinde, yüksek marjlı A100/A800/H100'ün etkisiyle brüt kar oranı %70, net kar oranı ise %45,81'e kadar çıktı.
NVIDIA'nın son üç mali yıldaki tek çeyrek brüt kar marjı ve net kar marjı
Nvidia'nın şu anda dünya çapında 20.000'den fazla çalışanı var ve bunların çoğu yüksek maaşlı yazılım ve donanım mühendisleri. Glassdoor'un verilerine göre bu pozisyonların ortalama yıllık maaşı temelde 200.000 ABD dolarının üzerinde.
NVIDIA'nın son on mali yıldaki Ar-Ge harcama oranı
Son on yılda, NVIDIA'nın Ar-Ge harcamalarının mutlak değeri hızlı bir büyümeyi sürdürmüş ve Ar-Ge harcama oranı da istikrarlı bir şekilde %20'nin üzerinde kalmıştır. Elbette, 2017'de derin öğrenme, 2021'de madencilik ve bu yıl büyük dil modelleri gibi belirli bir yılda terminal talebi patlak verirse, gelirin paydası aniden yükselir ve Ar-Ge harcama oranı kısa süreliğine %20'ye düşer. Buna bağlı olarak kârlar da doğrusal olmayan bir şekilde artacaktır.
NVIDIA'nın geliştirdiği birçok proje arasında en kritik olanı şüphesiz CUDA'dır.
2003 yılında, DirectX programlama için yüksek eşik sorununu çözmek amacıyla Ian Buck'ın ekibi, aynı zamanda insanların daha sonra sıklıkla söylediği CUDA'nın prototipi olan Brook adında bir programlama modeli başlattı. Buck, 2006 yılında NVIDIA'ya katıldı ve Jen-Hsun Huang'ı CUDA'yı geliştirmeye ikna etti. [8] .
C dili ortamında paralel hesaplamayı desteklediği için CUDA mühendislerin ilk tercihi haline gelmiş ve GPU genel amaçlı işlemciler (GPGPU) yoluna girmiştir.
CUDA yavaş yavaş olgunlaştıktan sonra Buck, Huang Renxun'u gelecekteki tüm NVIDIA GPU'ların CUDA'yı desteklemesi gerektiğine bir kez daha ikna etti. CUDA projesi 2006 yılında kuruldu ve ürün 2007 yılında piyasaya sürüldü. O dönemde NVIDIA'nın yıllık geliri sadece 3 milyar ABD doları iken CUDA'ya 500 milyon ABD doları harcadı. 2017 yılına gelindiğinde ise yalnızca CUDA'ya yapılan Ar-Ge harcaması 2017'yi aşmıştı. 10 milyar.
Özel bir bulut şirketinin CEO'su bir röportajda AMD kartlarını satın almayı düşünmediklerini ancak bu kartların hatalarını normal çalışmaya döndürmenin en az iki ay süreceğini söylemişti. [3] . Bu iki ayı kısaltmak için Nvidia on milyarlarca dolarlık yatırım yaptı ve 20 yıl sürdü.
Çip sektörü yarım asırdan fazla bir süredir iniş çıkışlar yaşıyor, ancak NVIDIA gibi hem donanım hem de ekosistem satan veya Huang Renxun'un sözleriyle: "barebone sistemleri satan" bir şirket hiçbir zaman olmadı. Dolayısıyla Nvidia'nın hedefi aslında çip alanındaki bilgeler değil, sistem satan bir diğer şirket olan Apple'dır.
CUDA'nın 2007'de piyasaya sürülmesinden dünyanın en büyük banknot baskı fabrikası haline gelmesine kadar Nvidia'nın rakipleri yok değil.
2008 yılında, dönemin çip endüstrisinin kralı olan Intel, entegre grafik projesi konusunda Nvidia ile olan işbirliğini kesintiye uğrattı ve PC alanında "bir nehir çizip hükmetmeyi" amaçlayan kendi genel amaçlı işlemcisini (GPCPU) piyasaya sürdü. . Ancak sonraki yıllardaki ürün versiyonlarında Nvidia, kendi işlemcilerini uzay, finans, biyotıp gibi daha güçlü bilgi işlem gücü gerektiren alanlara tanıtmakta ısrar etti ve bu nedenle Intel, 10 yıl içinde bunu bastırma umudu göremedi ve bunu yapmak zorunda kaldı. bağımsız grafik kartı planını iptal edin.
2009 yılında Apple'ın geliştirme ekibi, çok yönlülüğü sayesinde CUDA'nın pastasından pay almayı umarak OpenCL'i başlattı. Ancak OpenCL, derin öğrenme ekolojisi açısından CUDA'dan çok daha düşüktür. Birçok öğrenme çerçevesi ya CUDA yayınlandıktan sonra OpenCL'i destekler ya da OpenCL'i hiç desteklemez. Sonuç olarak derin öğrenmedeki gecikme, OpenCL'in daha yüksek katma değerli işlere ulaşamamasına neden oldu.
AlphaGo, 2015 yılında yapay zeka çağının geldiğini duyurarak Go alanında ön plana çıkmaya başladı. Bu sırada Intel, son veriyoluna yetişebilmek için AMD'nin GPU'sunu kendi sistem çipine taktı. Bu, iki şirket arasında 1980'lerden bu yana yapılan ilk işbirliği. Ancak artık CPU lideri, ikinci lider ve GPU liderinin toplam piyasa değeri, GPU lideri Nvidia'nın yalnızca 1/4'ü kadar.
Şu anki bakış açısına göre Nvidia'nın hendeği neredeyse yok edilemez. Kendi GPU'larını gizlice geliştiren birçok büyük müşteri olmasına rağmen, devasa ekosistemleri ve hızlı yinelemeleri sayesinde bu büyük müşteriler, Tesla'nın da kanıtladığı gibi, imparatorluktaki çatlakları araştıramıyor. Nvidia'nın para basma makinesi işi öngörülebilir gelecekte de devam edecek.
Belki de Huang Renxun'un kara bulutların gölgesinde kaldığı tek yer, çok sayıda müşterinin ve güçlü talebin olduğu, ancak H100'ün satılamadığı ancak insanların bu sorunu çözmek için dişlerini gıcırdattığı yerdir - dünyada tek bir yer vardır.
Referanslar
[1] Crunchbase
[2] Musk, AI Startup Emerge-Tom'un DONANIMINI Detaylandırırken "Herkes ve Köpekleri GPU Alıyor" Diyor
[3] Nvidia H100 GPU'lar: Arz ve Talep-GPU Yardımcı Programları
[4] Tedarik zincirindeki eksiklikler teknoloji sektörünün yapay zeka zenginliğini geciktiriyor, FT
[5] Yapay Zeka Kapasite Kısıtlamaları - CoWoS ve HBM Tedarik Zinciri-DYLAN PATEL, MYRON XIE VE GERALD WONG，Semianaliz
[6] Tayvan Yarı İletkeni: Nvidia-Robert Castellano'nun Çip ve Paket Tedarikçisi Olarak Değeri Oldukça Düşük Değerlendiriliyor，Alfa Aranıyor
[7] Çip Savaşları, Yu Sheng
[8] CUDA nedir? GPU'lar için paralel programlama-Martin Heller，InfoWorld
[9] NVIDIA DGX H100 Kullanım Kılavuzu
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Çılgın H100
Orijinal: Wang Yichuan
**Kaynak:**Silikon Araştırma Topluluğu
3 Ağustos 2023'te Wall Street ve Silikon Vadisi ortaklaşa sektörü şok eden büyük bir olayı sundular: yeni kurulan bir şirketin 2,3 milyar ABD doları tutarında borç finansmanı elde etmesine olanak tanındı ve teminat, H100 grafik kartındaki dünyadaki en zor para birimiydi.
Bu büyük etkinliğin kahramanı CoreWeave olarak adlandırılıyor. Ana işi AI özel bulut hizmetleridir. Basitçe söylemek gerekirse, büyük miktarda GPU bilgi işlem gücüne sahip bir veri merkezi oluşturarak AI startup'ları ve büyük ticari müşteriler için bilgi işlem altyapısı sağlar. CoreWeave toplam 580 milyon ABD Doları topladı ve şu anda 2 milyar ABD Doları değerindeki B Serisinde yer alıyor.
CoreWeave, 2016 yılında üç Wall Street emtia tüccarı tarafından kuruldu. Başlangıçta şirketin tek bir ana işi vardı: madencilik ve bir madencilik makine merkezi inşa etmek için çok sayıda GPU satın aldı.Özellikle döviz kurunun düşük olduğu zamanlarda şirket çok sayıda grafik kartını stokluyordu. döngüsel olarak hareket etti ve böylece Nvidia ile sağlam bir devrimci dostluk kurdu.
2019 yılında CoreWeave, müşterilere yapay zeka bulut hizmetleri sağlamak için bu madencilik makinelerini kurumsal düzeyde veri merkezlerine dönüştürmeye başladı. Başlangıçta işler durgun değildi, ancak ChatGPT'nin doğuşundan sonra büyük modellerin eğitimi ve muhakemesi çok fazla tüketiyor Halihazırda onbinlerce grafik kartına (tabii ki son model olması gerekmiyor) sahip olan CoreWeave hızla yola çıktı ve kapısı müşteriler ve risk sermayesi yatırımcılarıyla doldu.
Ancak insanları tuhaf hissettiren şey, CoreWeave'in yalnızca toplam 580 milyon ABD doları toplamış olması ve GPU'sunun net değerinin 1 milyar ABD dolarını geçmeyecek olmasıdır. Şirketin genel değerlemesi bile yalnızca 2 milyar ABD dolarıdır, ancak neden ipotek yoluyla 2,3 milyar ABD doları borç alıyor Peki ya dolar? Hesaplamada her zaman iyi olan ve teminatların değerini düşürmeye hevesli olan Wall Street neden bu kadar cömert?
Sebebi ise büyük ihtimalle şu: CoreWeave'in hesabında çok fazla ekran kartı bulunmamasına rağmen, başta H100 olmak üzere Nvidia'dan tedarik taahhüdü almış durumda.
CoreWeave'in Nvidia ile sağlam ilişkisi zaten Silikon Vadisi'nde açık bir sır. Bu tür bir hardcore, CoreWeave'in Nvidia'ya olan sarsılmaz sadakatine ve desteğine dayanmaktadır - yalnızca Nvidia kartlarını kullanın, kararlı bir şekilde kendi başına çekirdek oluşturmayın ve grafik kartı satılamadığında Nvidia'nın kart stoklamasına yardımcı olun. Huang Renxun'a göre bu ilişkinin altın içeriği Microsoft, Google ve Tesla ile olan plastik dostlukların çok ötesinde.
Bu nedenle, Nvidia H100 sıkıntısına rağmen Nvidia, Amazon ve Google gibi büyük üreticilere tedariki sınırlama pahasına bile CoreWeave'e çok sayıda yeni kart tahsis etti. Huang Renxun konferans görüşmesinde şunları övdü: "En ünlüsü CoreWeave olan bir grup yeni GPU bulut hizmet sağlayıcısı ortaya çıkacak ve çok iyi gidiyorlar."
Xi'nin 2,3 milyar doları toplamasından bir hafta önce CoreWeave, Teksas'ta 42.000 metrekarelik bir alanı kapsayan bir veri merkezi inşa etmek için 1,6 milyar dolar harcayacağını açıklamıştı. CoreWeave, yalnızca Nvidia ile olan ilişkisine ve öncelikli dağıtım haklarına dayanarak veri merkezini inşa etmek için bankadan borç para alabiliyor; bu model, insanlara araziyi aldıktan hemen sonra banka kredisi arayan emlak geliştiricilerini hatırlatıyor.
Yani mevcut H100 tedarik taahhüdünün, gayrimenkulün altın çağındaki bir arsa onayına benzediği söylenebilir.
H100'ü bulmak zor
Musk bu yılın nisan ayında verdiği bir röportajda şikayette bulundu. [2] : "Görünüşe göre artık köpekler bile GPU satın alıyor."
İronik bir şekilde Tesla, TSMC tarafından üretilen ve 7 nm'lik bir süreci benimseyen, kendi geliştirdiği D1 çipini 2021 gibi erken bir tarihte piyasaya sürdü ve o dönemde Nvidia'nın ana akım A100'ünün yerini alabileceğini iddia etti. Ancak 2 yıl geçti, Nvidia daha güçlü H100'ü piyasaya sürdü ve Tesla'nın D1'inin devamı yok, bu yüzden Musk kendi yapay zeka şirketini kurmaya çalıştığında yine de Bay Huang'ın kapısının önünde itaatkar bir şekilde diz çökmek zorunda kaldı ve bir kart için yalvarıyorum.
H100, TSMC'nin 4N süreciyle üretilen, geçen yıl 20 Eylül'de resmi olarak piyasaya sürüldü. Önceki modeli A100 ile karşılaştırıldığında H100 tek kart, çıkarım hızını 3,5 kat, eğitim hızını ise 2,3 kat artırır.Sunucu kümesi hesaplama yöntemi kullanılırsa eğitim hızı 9 kata çıkarılabilir.Orijinal iş yükü bir haftadır Şimdi sadece 20 saat sürüyor.
A100 ile karşılaştırıldığında, H100'ün tek kartının fiyatı A100'ün yaklaşık 1,5 ila 2 katı kadar daha pahalıdır, ancak büyük modellerin eğitim verimliliği %200 oranında artmıştır, dolayısıyla "tek dolarlık performans" şu şekilde hesaplanır: bu hesaplama daha yüksektir. NVIDIA'nın en yeni yüksek hızlı bağlantı sistemi çözümüyle eşleştirildiğinde dolar başına GPU performansı 4-5 kat daha yüksek olabilir, bu nedenle müşteriler tarafından büyük bir ilgiyle karşılanır.
H100 satın almak için acele eden müşteriler esas olarak üç kategoriye ayrılıyor:
İlk kategori Microsoft Azure, Google GCP ve Amazon AWS gibi kapsamlı bulut bilişim devleridir. Karakteristikleri, zengin ve güçlü olmaları ve her fırsatta Nvidia'nın üretim kapasitesini "kuşatmak" istemeleridir, ancak her biri aynı zamanda kendi düşüncelerini de gizler, Nvidia'nın neredeyse tekele yakın konumundan memnun değildir ve bu kapasiteyi azaltmak için gizlice kendi çiplerini geliştirir. maliyetler.
İkinci kategori bağımsız bulut GPU hizmet sağlayıcılarıdır. Tipik şirketler arasında yukarıda bahsedilen CoreWeave, Lambda, RunPod vb. yer alır. Bu tür şirketlerin bilgi işlem gücü nispeten küçüktür, ancak farklılaştırılmış hizmetler sağlayabilirler.Nvidia da bu tür şirketleri güçlü bir şekilde destekliyor ve hatta CoreWeave ve Lambda'ya doğrudan yatırım yapıyor.Göz damlası uygulayın.
Üçüncü kategori ise LLM (Large Language Model) eğitimi veren büyük ve küçük şirketlerdir. Anthropic, Inflection ve Midjourney gibi startupların yanı sıra Apple, Tesla ve Meta gibi teknoloji devlerini de içeriyor. Kendi ocaklarını inşa etmek için kendi GPU'larını satın alırken genellikle harici bulut hizmet sağlayıcılarının bilgi işlem gücünü kullanırlar; parası olanlar daha fazla satın alır, parası olmayanlar daha az satın alır ve asıl amaç insanların zengin ve tutumlu olmalarını sağlamaktır.
Bu üç müşteri türü arasında Microsoft Azure'un en az 50.000 H100'ü, Google'ın yaklaşık 30.000 H100'ü, Oracle'ın yaklaşık 20.000'i ve Tesla ve Amazon'un da en az yaklaşık 10.000'i vardır. CoreWeave'in 35.000 kopya taahhüdü olduğu bildirilmektedir (gerçek teslimat şu şekildedir: yaklaşık 10.000). Çok az şirketin 10.000'den fazla bilete sahip olduğu görülüyor.
Bu üç tip müşterinin toplamda kaç adet H100'e ihtiyacı var? Yurt dışı kuruluş GPU Utils'in tahminlerine göre H100'e yönelik mevcut talep yaklaşık 432.000. Bunlar arasında, OpenAI'nin GPT-5'i eğitmek için 50.000 sayfaya, Inflection'ın 22.000 sayfaya, Meta'nın 25.000 sayfaya (bazılarına göre 100.000 sayfa) ve dört büyük genel bulut sağlayıcısının her birinin en az 30.000 sayfaya ihtiyacı vardır. Bu 100.000 parçadır ve diğer küçük model üreticilerinin de 100.000 adetlik talebi var. [3] .
Nvidia'nın 2023 yılındaki H100 sevkiyatı 500.000 adet civarında olacak.Şu anda TSMC'nin üretim kapasitesi hala artıyor.Yıl sonuna doğru H100 kartların içinde bulunduğu zor durum hafifleyecek.
Ancak uzun vadede AIGC uygulamalarının patlamasıyla H100'ün arz ve talep açığı artmaya devam edecek. Financial Times'a göre 2024 yılında H100 sevkiyatları, bu yılki 500.000 sayfaya kıyasla 3-4 kat artışla 1,5 milyon ila 2 milyon sayfaya kadar çıkacak. [4] .
Wall Street'in tahminleri daha da radikal: ABD yatırım bankası Piper Sandler, Nvidia'nın veri merkezi gelirinin gelecek yıl 60 milyar ABD dolarını aşacağına inanıyor (24.Ç2: 10,32 milyar ABD doları) Bu verilere göre, A+H kartlarının sevkiyat hacmi 3'e yakın milyon kopya.
Daha da abartılı tahminler var. Belirli bir H100 sunucusunun en büyük dökümhanesi (%70-%80 pazar payına sahip) bu yılın Haziran ayından bu yana H100 sunucuları sevk ediyor ve üretim kapasitesi Temmuz ayında artmaya devam etti. Yakın zamanda yapılan bir anket, dökümhanenin 2024 yılında A+H kartlarının sevkiyat hacminin 4,5 milyon ile 5 milyon arasında olacağına inandığını gösteriyor.
Bu, Nvidia için "zenginlik ve zenginlik" anlamına geliyor, çünkü H100'ün devasa kârının derecesi diğer sektörlerdeki insanlar için hayal bile edilemez.
Grafik kartları altından daha pahalı
H100'ün ne kadar karlı olduğunu anlamak için malzeme listesini (BOM) parçalara ayırabiliriz.
Şekilde gösterildiği gibi, H100'ün en çok yönlü versiyonu olan H100 SXM, TSMC'nin CoWoS 7 kalıplı paketini kullanıyor. Altı adet 16G HBM3 yongası, orta mantık yongasını yakın bir şekilde çevreleyen iki sıra halinde düzenlenmiştir.
Ve bu aynı zamanda H100'ün en önemli üç parçasını oluşturur: mantık çipi, HBM bellek çipi, CoWoS paketi, ayrıca PCB kartı ve diğerleri gibi bazı yardımcı cihazlar vardır, ancak değeri yüksek değildir.
Çekirdek mantık yongası boyutu 814mm^2 olup, TSMC'nin en gelişmiş Tainan Fabrikası No. 18'de üretilmiştir ve kullanılan işlem düğümü "4N"dir. Adı 4 ile başlasa da aslında 5nm+'dir. Cep telefonları gibi 5nm alt alanlarındaki zayıf refah nedeniyle TSMC'nin mantık çiplerinin tedariğinin sağlanmasında herhangi bir sorunu bulunmuyor.
Ve bu mantık çipi 12 inçlik (alanı 70,695mm^2) bir gofretin kesilmesiyle üretiliyor.İdeal olarak 86 parça kesilebilir ancak sonuncusu olan "4N" hattının %80 verim oranı ve kesme kaybı göz önüne alındığında 12 inçlik bir levhadan yalnızca 65 çekirdekli mantık yongası kesilebilir.
Bu çekirdek mantık çipinin maliyeti ne kadar? TSMC'nin 2023 yılında 12 inçlik levha için dış teklifi 13.400 ABD Dolarıdır, dolayısıyla tek bir birime dönüştürüldüğünde maliyeti yaklaşık 200 ABD Doları olacaktır.
Sırada, şu anda yalnızca SK Hynix tarafından tedarik edilen 6 adet HBM3 çip var. Bu şirket, modern elektronikten doğmuştur. 2002 yılında neredeyse kendisini Micron'a adamıştır. Seri üretim teknolojisi açısından Micron'dan en az 3 yıl ileridedir (Micron, HBM2e'de sıkıştı ve Hynix bunu 2020 ortalarında seri üretecek).
HBM'nin spesifik fiyatı gizli tutuluyor ancak Kore medyasına göre HBM şu anda mevcut DRAM ürünlerinin 5-6 katı. Mevcut GDDR6 VRAM'in fiyatı GB başına yaklaşık 3 ABD dolarıdır, dolayısıyla HBM'nin fiyatının GB başına 15 ABD doları civarında olacağı tahmin edilmektedir. Bir H100 SXM'nin HBM'de maliyeti 1500 dolardır.
Her ne kadar HBM'nin fiyatı bu yıl artmaya devam etse ve Nvidia ve Meta yöneticileri de "işi denetlemek" için Hynix'e gitse de, Samsung'un HBM3'ü yavaş yavaş seri üretilecek ve yılın ikinci yarısında sevk edilecek. Koreli ikilinin atalarının kanı, gelecek yıla kadar HBM artık bir darboğaz olmayacak.
Gerçek darboğaz TSMC'nin 2.5D paketleme süreci olan CoWoS paketlemesidir. Çip üzerinde doğrudan delik (TSV) ve kablolama (RDL) açan 3D paketlemeyle karşılaştırıldığında CoWoS, daha iyi maliyet, ısı dağıtımı ve üretim bant genişliği sağlayabilir.İlk ikisi HBM'ye karşılık gelir ve son ikisi GPU'nun anahtarıdır.
Yani yüksek depolama kapasitesine ve yüksek bilgi işlem gücüne sahip bir çip istiyorsanız paketleme açısından CoWoS tek çözümdür. Nvidia ve AMD'nin dört GPU'sunun da CoWoS kullanması bunun en iyi kanıtıdır.
CoWoS'un maliyeti ne kadar? TSMC'nin 22 yıllık mali raporu, CoWoS sürecinin toplam gelirin %7'sini oluşturduğunu açıkladı; bu nedenle yurtdışı analist Robert Castellano, üretim kapasitesine ve çıplak kalıbın boyutuna göre bir AI çipinin paketlenmesinin TSMC'ye 723 $ gelir getirebileceğini hesapladı [6] .
Dolayısıyla yukarıdaki en büyük üç maliyet kaleminin toplamı yaklaşık 2.500 ABD dolarıdır, bunun yaklaşık 1.000 ABD dolarını TSMC (mantık çipi + CoWoS), SK Hynix ise 1.500 ABD dolarını oluşturur (Samsung gelecekte kesinlikle dahil olacaktır) ve ardından PCB ve diğer malzemeleri sayarsanız, toplam malzeme maliyeti 3.000 ABD Dolarını aşmaz.
H100'ün fiyatı ne kadar? 35.000 ABD dolarına sadece bir sıfır ekleyin ve brüt kâr oranı %90'ı aşıyor. Son 10 yılda NVIDIA'nın brüt kar marjı %60 civarındaydı.Şimdi A100/A800/H100'ün yüksek brüt kârının etkisiyle NVIDIA'nın brüt kar marjı bu yılın ikinci çeyreğinde %70'e ulaştı.
Bu biraz mantığa aykırı: Nvidia, statüsü dokunulmaz olan ve hatta Nvidia'nın boynunu boğabilecek tek çekirdek halka olan TSMC'nin dökümhanesine büyük ölçüde güveniyor. Ancak 35.000 dolarlık böyle bir kart için, bunu yapan TSMC yalnızca 1.000 dolar alabiliyor ve bu sadece gelir, kâr değil.
Ancak büyük karı tanımlamak için brüt kar marjını kullanmak çip şirketleri için pek bir şey ifade etmiyor, kumla başlarsanız brüt kar marjı daha yüksek olacaktır. 4N işlemine sahip 12 inçlik bir gofret olan TSMC, bunu herkese neredeyse 15.000 ABD dolarına satıyor ve Nvidia, doğal olarak kendi becerisine sahip olan müşterilere perakende satış ekleyebiliyor.
Bu numaranın sırrı şudur: Nvidia aslında donanım üreticisi kılığına giren bir yazılım şirketidir.
Yazılım ve donanımı entegre eden bir hendek
NVIDIA'nın en güçlü silahı brüt kar marjından net kar marjının çıkarılmasında gizlidir.
Bu yapay zeka patlamasından önce Nvidia'nın brüt kar marjı tüm yıl boyunca %65 civarında kalırken net kar marjı genellikle sadece %30'du. Bu yılın ikinci çeyreğinde, yüksek marjlı A100/A800/H100'ün etkisiyle brüt kar oranı %70, net kar oranı ise %45,81'e kadar çıktı.
Nvidia'nın şu anda dünya çapında 20.000'den fazla çalışanı var ve bunların çoğu yüksek maaşlı yazılım ve donanım mühendisleri. Glassdoor'un verilerine göre bu pozisyonların ortalama yıllık maaşı temelde 200.000 ABD dolarının üzerinde.
Son on yılda, NVIDIA'nın Ar-Ge harcamalarının mutlak değeri hızlı bir büyümeyi sürdürmüş ve Ar-Ge harcama oranı da istikrarlı bir şekilde %20'nin üzerinde kalmıştır. Elbette, 2017'de derin öğrenme, 2021'de madencilik ve bu yıl büyük dil modelleri gibi belirli bir yılda terminal talebi patlak verirse, gelirin paydası aniden yükselir ve Ar-Ge harcama oranı kısa süreliğine %20'ye düşer. Buna bağlı olarak kârlar da doğrusal olmayan bir şekilde artacaktır.
NVIDIA'nın geliştirdiği birçok proje arasında en kritik olanı şüphesiz CUDA'dır.
2003 yılında, DirectX programlama için yüksek eşik sorununu çözmek amacıyla Ian Buck'ın ekibi, aynı zamanda insanların daha sonra sıklıkla söylediği CUDA'nın prototipi olan Brook adında bir programlama modeli başlattı. Buck, 2006 yılında NVIDIA'ya katıldı ve Jen-Hsun Huang'ı CUDA'yı geliştirmeye ikna etti. [8] .
C dili ortamında paralel hesaplamayı desteklediği için CUDA mühendislerin ilk tercihi haline gelmiş ve GPU genel amaçlı işlemciler (GPGPU) yoluna girmiştir.
CUDA yavaş yavaş olgunlaştıktan sonra Buck, Huang Renxun'u gelecekteki tüm NVIDIA GPU'ların CUDA'yı desteklemesi gerektiğine bir kez daha ikna etti. CUDA projesi 2006 yılında kuruldu ve ürün 2007 yılında piyasaya sürüldü. O dönemde NVIDIA'nın yıllık geliri sadece 3 milyar ABD doları iken CUDA'ya 500 milyon ABD doları harcadı. 2017 yılına gelindiğinde ise yalnızca CUDA'ya yapılan Ar-Ge harcaması 2017'yi aşmıştı. 10 milyar.
Özel bir bulut şirketinin CEO'su bir röportajda AMD kartlarını satın almayı düşünmediklerini ancak bu kartların hatalarını normal çalışmaya döndürmenin en az iki ay süreceğini söylemişti. [3] . Bu iki ayı kısaltmak için Nvidia on milyarlarca dolarlık yatırım yaptı ve 20 yıl sürdü.
Çip sektörü yarım asırdan fazla bir süredir iniş çıkışlar yaşıyor, ancak NVIDIA gibi hem donanım hem de ekosistem satan veya Huang Renxun'un sözleriyle: "barebone sistemleri satan" bir şirket hiçbir zaman olmadı. Dolayısıyla Nvidia'nın hedefi aslında çip alanındaki bilgeler değil, sistem satan bir diğer şirket olan Apple'dır.
CUDA'nın 2007'de piyasaya sürülmesinden dünyanın en büyük banknot baskı fabrikası haline gelmesine kadar Nvidia'nın rakipleri yok değil.
2008 yılında, dönemin çip endüstrisinin kralı olan Intel, entegre grafik projesi konusunda Nvidia ile olan işbirliğini kesintiye uğrattı ve PC alanında "bir nehir çizip hükmetmeyi" amaçlayan kendi genel amaçlı işlemcisini (GPCPU) piyasaya sürdü. . Ancak sonraki yıllardaki ürün versiyonlarında Nvidia, kendi işlemcilerini uzay, finans, biyotıp gibi daha güçlü bilgi işlem gücü gerektiren alanlara tanıtmakta ısrar etti ve bu nedenle Intel, 10 yıl içinde bunu bastırma umudu göremedi ve bunu yapmak zorunda kaldı. bağımsız grafik kartı planını iptal edin.
2009 yılında Apple'ın geliştirme ekibi, çok yönlülüğü sayesinde CUDA'nın pastasından pay almayı umarak OpenCL'i başlattı. Ancak OpenCL, derin öğrenme ekolojisi açısından CUDA'dan çok daha düşüktür. Birçok öğrenme çerçevesi ya CUDA yayınlandıktan sonra OpenCL'i destekler ya da OpenCL'i hiç desteklemez. Sonuç olarak derin öğrenmedeki gecikme, OpenCL'in daha yüksek katma değerli işlere ulaşamamasına neden oldu.
AlphaGo, 2015 yılında yapay zeka çağının geldiğini duyurarak Go alanında ön plana çıkmaya başladı. Bu sırada Intel, son veriyoluna yetişebilmek için AMD'nin GPU'sunu kendi sistem çipine taktı. Bu, iki şirket arasında 1980'lerden bu yana yapılan ilk işbirliği. Ancak artık CPU lideri, ikinci lider ve GPU liderinin toplam piyasa değeri, GPU lideri Nvidia'nın yalnızca 1/4'ü kadar.
Şu anki bakış açısına göre Nvidia'nın hendeği neredeyse yok edilemez. Kendi GPU'larını gizlice geliştiren birçok büyük müşteri olmasına rağmen, devasa ekosistemleri ve hızlı yinelemeleri sayesinde bu büyük müşteriler, Tesla'nın da kanıtladığı gibi, imparatorluktaki çatlakları araştıramıyor. Nvidia'nın para basma makinesi işi öngörülebilir gelecekte de devam edecek.
Belki de Huang Renxun'un kara bulutların gölgesinde kaldığı tek yer, çok sayıda müşterinin ve güçlü talebin olduğu, ancak H100'ün satılamadığı ancak insanların bu sorunu çözmek için dişlerini gıcırdattığı yerdir - dünyada tek bir yer vardır.
Referanslar
[1] Crunchbase
[2] Musk, AI Startup Emerge-Tom'un DONANIMINI Detaylandırırken "Herkes ve Köpekleri GPU Alıyor" Diyor
[3] Nvidia H100 GPU'lar: Arz ve Talep-GPU Yardımcı Programları
[4] Tedarik zincirindeki eksiklikler teknoloji sektörünün yapay zeka zenginliğini geciktiriyor, FT
[5] Yapay Zeka Kapasite Kısıtlamaları - CoWoS ve HBM Tedarik Zinciri-DYLAN PATEL, MYRON XIE VE GERALD WONG，Semianaliz
[6] Tayvan Yarı İletkeni: Nvidia-Robert Castellano'nun Çip ve Paket Tedarikçisi Olarak Değeri Oldukça Düşük Değerlendiriliyor，Alfa Aranıyor
[7] Çip Savaşları, Yu Sheng
[8] CUDA nedir? GPU'lar için paralel programlama-Martin Heller，InfoWorld
[9] NVIDIA DGX H100 Kullanım Kılavuzu