Vào ngày 3 tháng 8 năm 2023, Phố Wall và Thung lũng Silicon đã cùng nhau tổ chức một sự kiện lớn gây chấn động ngành: cho phép một công ty khởi nghiệp nhận được khoản tài trợ nợ 2,3 tỷ USD và tài sản thế chấp là loại tiền tệ mạnh nhất trên thế giới-card đồ họa H100.
Nhân vật chính của sự kiện lớn này có tên là CoreWeave. Hoạt động kinh doanh chính của nó là dịch vụ đám mây riêng AI. Nói một cách đơn giản, nó cung cấp cơ sở hạ tầng điện toán cho các công ty khởi nghiệp AI và khách hàng thương mại lớn bằng cách xây dựng một trung tâm dữ liệu với sức mạnh tính toán GPU lớn. CoreWeave đã huy động được tổng cộng 580 triệu USD và hiện đang ở Series B với mức định giá 2 tỷ USD.
CoreWeave được thành lập vào năm 2016 bởi ba nhà giao dịch hàng hóa ở Phố Wall. Lúc đầu, hoạt động kinh doanh chính của công ty chỉ là khai thác, mua số lượng lớn GPU để xây dựng trung tâm máy khai thác, đặc biệt khi vòng quay tiền tệ xuống thấp, công ty sẽ tích trữ một số lượng lớn card đồ họa. ngược chu kỳ, và do đó đã thiết lập một tình bạn mang tính cách mạng sắt đá với Nvidia.
Ba người đồng sáng lập CoreWeave
Năm 2019, CoreWeave bắt đầu chuyển đổi các máy khai thác này thành trung tâm dữ liệu cấp doanh nghiệp để cung cấp cho khách hàng dịch vụ đám mây AI.Việc kinh doanh ban đầu còn khá ảm đạm nhưng sau khi ChatGPT ra đời, việc đào tạo và suy luận các mô hình lớn tiêu tốn rất nhiều công sức. CoreWeave, vốn đã có hàng chục nghìn card đồ họa (tất nhiên không nhất thiết phải là mẫu mới nhất), đã thành công như vũ bão, và cánh cửa đã chật kín khách hàng và các nhà đầu tư mạo hiểm.
Nhưng điều khiến mọi người cảm thấy kỳ lạ là: CoreWeave mới huy động được tổng cộng 580 triệu đô la Mỹ, và giá trị ròng của GPU trên sổ sách sẽ không vượt quá 1 tỷ đô la Mỹ, thậm chí tổng giá trị của công ty chỉ là 2 tỷ đô la Mỹ, nhưng tại sao nó có thể vay 2,3 tỷ thông qua thế chấp?Còn đô la thì sao? Tại sao Phố Wall, vốn luôn giỏi tính toán và thích cắt giảm giá trị tài sản thế chấp, lại hào phóng đến vậy?
Nguyên nhân rất có thể là: Mặc dù CoreWeave không có nhiều card đồ họa trên tài khoản nhưng lại nhận được cam kết cung cấp từ Nvidia, đặc biệt là H100.
Mối quan hệ chặt chẽ của CoreWeave với Nvidia đã là một bí mật mở ở Thung lũng Silicon. Loại Hardcore này bắt nguồn từ sự trung thành và hỗ trợ không ngừng của CoreWeave dành cho Nvidia - chỉ sử dụng card của Nvidia, kiên quyết không tự làm lõi và giúp Nvidia tích trữ card khi card đồ họa không bán được. Đối với Huang, giá trị của mối quan hệ này vượt xa tình bạn nhựa với Microsoft, Google và Tesla.
Do đó, bất chấp sự thiếu hụt của Nvidia H100, Nvidia đã phân bổ một số lượng lớn thẻ mới cho CoreWeave, thậm chí phải trả giá bằng việc hạn chế nguồn cung cho các nhà sản xuất lớn như Amazon và Google. Huang Renxun đã ca ngợi trong cuộc gọi hội nghị: "Một nhóm nhà cung cấp dịch vụ đám mây GPU mới sẽ xuất hiện, trong đó nổi tiếng nhất là CoreWeave. Họ đang hoạt động rất tốt."
Một tuần trước khi Tập huy động được 2,3 tỷ USD, CoreWeave tuyên bố sẽ chi 1,6 tỷ USD để xây dựng một trung tâm dữ liệu có diện tích 42.000 mét vuông ở Texas. Chỉ dựa vào mối quan hệ với Nvidia và quyền phân phối ưu tiên, CoreWeave có thể vay tiền ngân hàng để xây dựng trung tâm dữ liệu - mô hình này khiến mọi người liên tưởng đến các nhà phát triển bất động sản ngay lập tức tìm kiếm khoản vay ngân hàng sau khi có được đất.
Vì vậy có thể nói, cam kết cung cấp H100 hiện tại có thể so sánh với một lô đất được phê duyệt trong thời kỳ hoàng kim của bất động sản.
Khó tìm H100
Trong một cuộc phỏng vấn vào tháng 4 năm nay, Musk phàn nàn [2] : “Có vẻ như ngay cả chó bây giờ cũng đang mua GPU.”
Trớ trêu thay, Tesla lại phát hành chip D1 do mình tự phát triển ngay từ đầu năm 2021. Nó do TSMC sản xuất và sử dụng quy trình 7nm, tuyên bố có thể thay thế A100 chủ đạo của Nvidia vào thời điểm đó. Nhưng hai năm sau, Nvidia ra mắt H100 mạnh mẽ hơn, còn D1 của Tesla không có phiên bản tiếp theo, nên khi Musk cố gắng thành lập công ty trí tuệ nhân tạo của riêng mình, ông vẫn phải quỳ trước cửa nhà ông Huang và xin phép. .
H100 chính thức ra mắt vào ngày 20/9 năm ngoái và được sản xuất theo quy trình TSMC 4N. So với A100 trước đây, thẻ đơn H100 có thể tăng tốc độ suy luận lên 3,5 lần và tốc độ đào tạo lên 2,3 lần, nếu sử dụng phương pháp tính toán cụm máy chủ, tốc độ đào tạo có thể tăng lên 9 lần. tuần, bây giờ chỉ mất 20 giờ.
Sơ đồ kiến trúc GH100
So với A100, giá một thẻ đơn của H100 đắt hơn, gấp khoảng 1,5 đến 2 lần so với A100, nhưng hiệu quả đào tạo các mẫu lớn đã tăng 200% nên “hiệu suất một đô la” tính theo tính toán này cao hơn. Nếu kết hợp với giải pháp hệ thống kết nối tốc độ cao mới nhất của Nvidia, hiệu suất GPU tính trên mỗi đô la có thể cao hơn gấp 4-5 lần nên được khách hàng săn lùng ráo riết.
Khách hàng đổ xô mua H100 chủ yếu chia làm 3 loại:
Hạng mục đầu tiên là những gã khổng lồ về điện toán đám mây toàn diện, như Microsoft Azure, Google GCP và Amazon AWS. Đặc điểm của họ là có túi tiền sâu và muốn "bao phủ" năng lực sản xuất của Nvidia ở mọi thời điểm, tuy nhiên, mỗi công ty cũng có những âm mưu ngầm, không hài lòng với vị thế gần như độc quyền của Nvidia và bí mật phát triển chip của riêng mình để giảm chi phí.
Loại thứ hai là các nhà cung cấp dịch vụ GPU đám mây độc lập, điển hình bao gồm CoreWeave, Lambda, RunPod, v.v. kể trên. Loại công ty này có sức mạnh tính toán tương đối nhỏ nhưng có thể cung cấp các dịch vụ khác biệt, Nvidia cũng rất ủng hộ loại công ty này, thậm chí còn đầu tư trực tiếp vào CoreWeave và Lambda, mục đích rất rõ ràng: cung cấp dịch vụ cho những gã khổng lồ xây dựng lõi riêng tư. Nhỏ thuốc nhỏ mắt.
Loại thứ ba là các công ty lớn và nhỏ đang đào tạo LLM (Mô hình ngôn ngữ lớn). Nó bao gồm các công ty khởi nghiệp như Anthropic, Inflection và Midjourney, cũng như những gã khổng lồ công nghệ như Apple, Tesla và Meta. Họ thường sử dụng sức mạnh tính toán của các nhà cung cấp dịch vụ đám mây bên ngoài, đồng thời mua GPU của riêng mình để xây dựng bếp nấu ăn của riêng mình - người có tiền mua nhiều hơn, người không có tiền mua ít hơn và mục đích chính là tiết kiệm mọi người.
Trong ba loại khách hàng này, Microsoft Azure có ít nhất 50.000 H100, Google có khoảng 30.000 H100, Oracle có khoảng 20.000, Tesla và Amazon cũng có ít nhất khoảng 10.000. CoreWeave được cho là có cam kết hạn ngạch là 35.000 (mức thực tế). giao hàng khoảng 10.000). Các công ty khác hiếm khi có hơn 10.000 bản.
Ba loại khách hàng này cần tổng cộng bao nhiêu chiếc H100? Theo dự đoán từ tổ chức GPU Utils ở nước ngoài, nhu cầu hiện tại về H100 là khoảng 432.000. Trong số đó, OpenAI cần 50.000 tờ để đào tạo GPT-5, Inflection cần 22.000 tờ, Meta yêu cầu 25.000 tờ (một số người nói là 100.000 tờ) và mỗi nhà cung cấp trong số bốn nhà cung cấp đám mây công cộng lớn cần ít nhất 30.000 tờ, tức là 100.000 tờ và các nhà sản xuất mô hình nhỏ khác cũng có nhu cầu 100.000 chiếc. [3] 。
Lô hàng H100 của Nvidia trong năm 2023 sẽ vào khoảng 500.000 chiếc, hiện tại năng lực sản xuất của TSMC vẫn đang tăng cao, đến cuối năm tình trạng khó khăn của thẻ H100 sẽ được giảm bớt.
Nhưng về lâu dài, chênh lệch cung cầu của H100 sẽ tiếp tục gia tăng cùng với sự bùng nổ của các ứng dụng AIGC. Theo Financial Times, lô hàng H100 vào năm 2024 sẽ cao tới 1,5 triệu đến 2 triệu tờ, tăng gấp 3-4 lần so với 500.000 tờ năm nay. [4] 。
Những dự đoán của Phố Wall thậm chí còn triệt để hơn: ngân hàng đầu tư Hoa Kỳ Piper Sandler tin rằng doanh thu từ trung tâm dữ liệu của Nvidia sẽ vượt 60 tỷ USD vào năm tới (Quý 2 năm tài chính 24: 10,32 tỷ USD). triệu bản.
Thậm chí còn có những ước tính phóng đại hơn. Một xưởng đúc lớn nhất của máy chủ H100 (với thị phần từ 70% -80%) đã vận chuyển máy chủ H100 kể từ tháng 6 năm nay và năng lực sản xuất của hãng này đã tiếp tục tăng trong tháng 7. Một cuộc khảo sát gần đây cho thấy xưởng đúc tin rằng khối lượng vận chuyển thẻ A+H vào năm 2024 sẽ nằm trong khoảng từ 4,5 triệu đến 5 triệu.
Điều này có nghĩa là "sự giàu có và giàu có" đối với Nvidia, bởi mức độ lợi nhuận khổng lồ của H100 là điều không thể tưởng tượng được đối với những người ở các ngành khác.
##Card đồ họa đắt hơn vàng
Để tìm hiểu xem H100 sinh lời như thế nào, chúng ta có thể phân tích hoàn toàn bảng nguyên vật liệu (BOM) của nó.
Như trong hình, phiên bản linh hoạt nhất của H100, H100 SXM, sử dụng gói 7 khuôn CoWoS của TSMC. Sáu chip HBM3 16G được sắp xếp thành hai hàng sát nhau bao quanh chip logic ở giữa.
Đây cũng cấu thành 3 bộ phận quan trọng nhất của H100: chip logic, chip nhớ HBM, gói CoWoS, ngoài ra còn có một số linh kiện phụ trợ như bo mạch PCB và các linh kiện phụ trợ khác nhưng giá trị không cao.
Sơ đồ tháo gỡ H100
Kích thước chip logic lõi là 814mm^2, được sản xuất tại Nhà máy Đài Nam tiên tiến nhất số 18 của TSMC và nút quy trình được sử dụng là "4N". Mặc dù tên bắt đầu bằng 4 nhưng thực tế nó là 5nm+. Do sự kém phát triển ở các lĩnh vực hạ nguồn 5nm, chẳng hạn như điện thoại di động, TSMC không gặp vấn đề gì trong việc đảm bảo nguồn cung chip logic.
Chip logic này được sản xuất bằng cách cắt một tấm wafer 12 inch (diện tích 70.695 mm^2). Trong điều kiện lý tưởng, có thể cắt ra 86 mảnh. Tuy nhiên, xem xét tỷ lệ năng suất 80% và tổn thất cắt của dòng "4N", cái cuối cùng Chỉ có 65 chip logic lõi mới có thể được cắt ra khỏi một tấm wafer 12 inch.
Chip logic lõi này có giá bao nhiêu? Báo giá năm 2023 của TSMC cho một tấm wafer 12 inch là 13.400 USD, do đó, một tấm wafer đơn lẻ có giá khoảng 200 USD.
Tiếp theo là 6 chip HBM3 hiện đang được cung cấp độc quyền bởi SK Hynix, công ty này vốn có nguồn gốc từ điện tử hiện đại, gần như đã cam kết với Micron vào năm 2002. Với chiến lược truyền máu và năng lực sản xuất ngược chu kỳ của chính phủ, giờ đây họ đã nằm trong It của HBM. đi trước Micron ít nhất 3 năm về công nghệ sản xuất hàng loạt (Micron mắc kẹt ở HBM2e và Hynix sẽ sản xuất hàng loạt vào giữa năm 2020).
Giá cụ thể của HBM được giữ bí mật nhưng theo truyền thông Hàn Quốc, HBM hiện cao gấp 5-6 lần so với các sản phẩm DRAM hiện có. Giá của VRAM GDDR6 hiện tại là khoảng 3 USD mỗi GB, do đó giá của HBM được ước tính vào khoảng 15 USD mỗi GB. Chiếc H100 SXM đó có giá 1500 USD trên HBM.
Mặc dù giá HBM tiếp tục tăng trong năm nay và các giám đốc điều hành của Nvidia và Meta cũng đã đến Hynix để "giám sát công việc", HBM3 của Samsung sẽ dần dần được sản xuất hàng loạt và xuất xưởng vào nửa cuối năm nay. mang trong mình dòng máu tổ tiên của bộ đôi Hàn Quốc thì phải đến năm sau HBM sẽ không còn là nút thắt cổ chai nữa.
Nút thắt thực sự là quy trình đóng gói CoWoS của TSMC, đây là quy trình đóng gói 2.5D. So với bao bì 3D đục lỗ trực tiếp (TSV) và nối dây (RDL) trên chip, CoWoS có thể mang lại chi phí, khả năng tản nhiệt và băng thông thông lượng tốt hơn. Hai cái đầu tiên tương ứng với HBM, và hai cái sau là chìa khóa cho GPU.
Vì vậy, nếu bạn muốn một con chip có dung lượng lưu trữ cao và khả năng tính toán cao thì CoWoS là giải pháp duy nhất về mặt đóng gói. Việc cả 4 GPU của Nvidia và AMD đều sử dụng CoWoS là bằng chứng rõ ràng nhất.
CoWoS có giá bao nhiêu? Báo cáo tài chính 22 năm của TSMC tiết lộ rằng quy trình CoWoS chiếm 7% tổng doanh thu, vì vậy nhà phân tích nước ngoài Robert Castellano đã tính toán dựa trên năng lực sản xuất và kích thước của khuôn trần rằng việc đóng gói một con chip AI có thể mang lại cho TSMC doanh thu 723 USD. [6] 。
Như vậy, tổng cộng 3 hạng mục chi phí lớn nhất trên là khoảng 2.500 USD, trong đó TSMC chiếm khoảng 1.000 USD (chip logic + CoWoS), SK Hynix chiếm 1.500 USD (Chắc chắn Samsung sẽ tham gia trong thời gian tới) , sau đó tính PCB và các vật liệu khác, tổng chi phí vật liệu không vượt quá 3.000 USD.
H100 bán bao nhiêu? 35.000 đô la Mỹ, chỉ cần thêm số 0 và tỷ suất lợi nhuận gộp vượt quá 90%. Trong 10 năm qua, tỷ suất lợi nhuận gộp của Nvidia là khoảng 60%. Hiện được thúc đẩy bởi A100/A800/H100 có tỷ suất lợi nhuận cao, tỷ suất lợi nhuận gộp quý 2 năm nay của Nvidia đã đạt 70%.
Điều này hơi phản trực giác: Nvidia phụ thuộc rất nhiều vào xưởng đúc của TSMC, nơi có địa vị không thể chạm tới và thậm chí là mắt xích cốt lõi duy nhất có thể bóp cổ Nvidia. Nhưng đối với một chiếc thẻ trị giá 35.000 đô la như vậy, TSMC, công ty sản xuất nó, chỉ có thể nhận được 1.000 đô la và đó chỉ là doanh thu chứ không phải lợi nhuận.
Tuy nhiên, việc sử dụng tỷ suất lợi nhuận gộp để xác định lợi nhuận khổng lồ không có nhiều ý nghĩa đối với các công ty sản xuất chip, nếu bắt đầu từ cát thì tỷ suất lợi nhuận gộp sẽ cao hơn. Một tấm wafer 12 inch làm bằng công nghệ 4N được TSMC bán cho mọi người với giá gần 15.000 USD, NVIDIA đương nhiên có bí quyết cộng thêm giá bán lẻ để bán cho khách hàng.
Bí quyết của mánh khóe: Nvidia về cơ bản là một công ty phần mềm đội lốt nhà sản xuất phần cứng.
Hào mềm và hào cứng
Vũ khí lợi hại nhất của Nvidia nằm ở phần tỷ suất lợi nhuận gộp trừ đi tỷ suất lợi nhuận ròng.
Trước đợt bùng nổ AI này, tỷ suất lợi nhuận gộp của Nvidia duy trì ở mức khoảng 65% quanh năm, trong khi tỷ suất lợi nhuận ròng thường chỉ là 30%. Trong quý 2 năm nay, được thúc đẩy bởi A100/A800/H100 có tỷ suất lợi nhuận cao, tỷ suất lợi nhuận gộp ở mức 70% và tỷ suất lợi nhuận ròng cao tới 45,81%.
Biên lợi nhuận gộp trong một quý và tỷ suất lợi nhuận ròng của NVIDIA trong ba năm tài chính vừa qua
Nvidia hiện có hơn 20.000 nhân viên trên toàn thế giới, hầu hết đều là kỹ sư phần mềm và phần cứng được trả lương cao, theo dữ liệu từ Glassdoor, mức lương trung bình hàng năm cho những vị trí này về cơ bản là hơn 200.000 USD mỗi năm.
Tỷ lệ chi phí R&D của NVIDIA trong 10 năm tài chính vừa qua
Trong mười năm qua, giá trị tuyệt đối của chi tiêu R&D của NVIDIA đã duy trì mức tăng trưởng nhanh chóng và tỷ lệ chi phí R&D cũng duy trì ở trạng thái ổn định trên 20%. Tất nhiên, nếu nhu cầu về thiết bị đầu cuối bùng nổ trong một năm nhất định, chẳng hạn như deep learning năm 2017, khai thác trong 21 năm và các mô hình ngôn ngữ lớn trong năm nay, mẫu số doanh thu đột ngột tăng lên và tỷ lệ chi phí R&D sẽ giảm 20%. trong thời gian ngắn, lợi nhuận cũng sẽ tăng phi tuyến tính.
Trong số rất nhiều dự án do NVIDIA phát triển, dự án quan trọng nhất chắc chắn là CUDA.
Năm 2003, để giải quyết vấn đề ngưỡng cao cho lập trình DirectX, nhóm của Ian Buck đã cho ra đời một mô hình lập trình có tên Brook, đây cũng chính là nguyên mẫu của CUDA mà sau này người ta thường nói đến. Năm 2006, Buck gia nhập Nvidia và thuyết phục Huang Renxun phát triển CUDA [8] 。
Vì hỗ trợ tính toán song song trong môi trường ngôn ngữ C, CUDA đã trở thành lựa chọn hàng đầu của các kỹ sư và GPU đã dấn thân vào con đường của bộ xử lý đa năng (GPGPU).
Sau khi CUDA dần dần trưởng thành, Buck một lần nữa thuyết phục Huang Renxun rằng tất cả GPU NVIDIA trong tương lai đều phải hỗ trợ CUDA. Dự án CUDA được thành lập vào năm 2006 và sản phẩm được ra mắt vào năm 2007. Khi đó, doanh thu hàng năm của NVIDIA chỉ là 3 tỷ đô la Mỹ nhưng họ đã chi 500 triệu đô la Mỹ cho CUDA. Đến năm 2017, riêng chi phí R&D cho CUDA đã vượt quá 10 tỷ.
CEO của một công ty điện toán đám mây tư nhân từng nói trong một cuộc phỏng vấn rằng họ không nghĩ đến việc chuyển sang thẻ AMD, nhưng phải mất ít nhất hai tháng để gỡ lỗi các thẻ này để hoạt động bình thường [3] . Để rút ngắn hai tháng này, Nvidia đã đầu tư hàng chục tỷ đồng và kéo dài 20 năm.
Ngành công nghiệp chip đã thăng trầm hơn nửa thế kỷ và chưa bao giờ có một công ty như Nvidia bán cả phần cứng và hệ sinh thái, hay nói theo cách của Huang Renxun: "Nó bán hệ thống barebone". Vì vậy, mục tiêu của Nvidia quả thực không phải là những hiền nhân trong lĩnh vực chip mà là Apple, một công ty bán hệ thống khác.
Từ khi ra mắt CUDA vào năm 2007 đến khi trở thành nhà máy in tiền lớn nhất thế giới, NVIDIA không phải không có đối thủ.
Năm 2008, Intel, ông vua chip lúc bấy giờ, đã gián đoạn hợp tác với Nvidia trong dự án màn hình tích hợp và tung ra bộ xử lý đa năng (GPCPU) của riêng mình, với ý định “thống trị dòng sông” trong lĩnh vực PC. Tuy nhiên, trong những năm tiếp theo của các lần lặp lại sản phẩm, Nvidia nhất quyết quảng bá bộ xử lý của riêng mình sang các lĩnh vực đòi hỏi khả năng tính toán mạnh mẽ hơn như không gian, tài chính và y sinh, do đó Intel buộc phải hủy bỏ kế hoạch card đồ họa độc lập trong 10 năm. vì nó không thấy hy vọng gì để trấn áp nó.
Năm 2009, nhóm phát triển của Apple đã tung ra OpenCL với hy vọng giành được một phần miếng bánh của CUDA nhờ tính linh hoạt của nó. Tuy nhiên, OpenCL thua xa CUDA trong hệ sinh thái học sâu. Nhiều khung học tập hỗ trợ OpenCL sau khi CUDA được phát hành hoặc hoàn toàn không hỗ trợ OpenCL. Kết quả là OpenCL đã tụt lại phía sau trong lĩnh vực học sâu và không thể chạm tới các doanh nghiệp có giá trị gia tăng cao hơn.
Năm 2015, AlphaGo bắt đầu thể hiện sự nổi bật của mình trong lĩnh vực cờ vây, thông báo kỷ nguyên trí tuệ nhân tạo đã đến. Lúc này, để bắt kịp chuyến tàu cuối cùng, Intel đã đưa GPU của AMD vào chip hệ thống của riêng mình. Đây là lần hợp tác đầu tiên giữa hai công ty kể từ những năm 1980. Nhưng hiện tại, giá trị thị trường tổng hợp của người dẫn đầu CPU, người dẫn đầu thứ hai và người dẫn đầu GPU chỉ bằng 1/4 so với người dẫn đầu GPU Nvidia.
Theo quan điểm hiện tại, con hào của Nvidia gần như không thể bị phá hủy. Mặc dù có nhiều khách hàng lớn mỉm cười giấu dao và bí mật phát triển GPU của riêng họ, nhưng với hệ sinh thái khổng lồ và tốc độ lặp lại nhanh chóng, những khách hàng lớn này không thể chọc thủng các vết nứt trong đế chế, bằng chứng là Tesla. Hoạt động kinh doanh máy in tiền của Nvidia sẽ tiếp tục trong tương lai gần.
Có lẽ nơi duy nhất Huang Renxun bị mây đen ám ảnh là nơi có nhiều khách hàng và nhu cầu mạnh nhưng H100 không bán được mà người ta đang nghiến răng giải quyết vấn đề - chỉ có một nơi duy nhất trên thế giới.
Người giới thiệu
[1] Crunchbase
[2] 'Mọi người và con chó của họ đang mua GPU', Musk nói khi khởi nghiệp AI Chi tiết về PHẦN CỨNG của Emerge-tom
[3] GPU Nvidia H100: Tiện ích cung và cầu-GPU
[4] Sự thiếu hụt chuỗi cung ứng làm trì hoãn vận may AI của ngành công nghệ, FT
[5] Các hạn chế về năng lực AI - Chuỗi cung ứng CoWoS và HBM-DYLAN PATEL, MYRON XIE và GERALD WONG,Semiaanalysis
[6] Công ty bán dẫn Đài Loan: Bị đánh giá thấp đáng kể khi là nhà cung cấp chip và gói cho Nvidia-Robert Castellano, Đang tìm kiếm Alpha
[7] Chiến tranh chip, Yu Sheng
[8] CUDA là gì? Lập trình song song cho GPU-Martin Heller,InfoWorld
[9] Hướng dẫn sử dụng NVIDIA DGX H100
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Điên H100
Bản gốc: Vương Nhất Xuyên
**Nguồn:**Viện có trụ sở tại Silicon
Vào ngày 3 tháng 8 năm 2023, Phố Wall và Thung lũng Silicon đã cùng nhau tổ chức một sự kiện lớn gây chấn động ngành: cho phép một công ty khởi nghiệp nhận được khoản tài trợ nợ 2,3 tỷ USD và tài sản thế chấp là loại tiền tệ mạnh nhất trên thế giới-card đồ họa H100.
Nhân vật chính của sự kiện lớn này có tên là CoreWeave. Hoạt động kinh doanh chính của nó là dịch vụ đám mây riêng AI. Nói một cách đơn giản, nó cung cấp cơ sở hạ tầng điện toán cho các công ty khởi nghiệp AI và khách hàng thương mại lớn bằng cách xây dựng một trung tâm dữ liệu với sức mạnh tính toán GPU lớn. CoreWeave đã huy động được tổng cộng 580 triệu USD và hiện đang ở Series B với mức định giá 2 tỷ USD.
CoreWeave được thành lập vào năm 2016 bởi ba nhà giao dịch hàng hóa ở Phố Wall. Lúc đầu, hoạt động kinh doanh chính của công ty chỉ là khai thác, mua số lượng lớn GPU để xây dựng trung tâm máy khai thác, đặc biệt khi vòng quay tiền tệ xuống thấp, công ty sẽ tích trữ một số lượng lớn card đồ họa. ngược chu kỳ, và do đó đã thiết lập một tình bạn mang tính cách mạng sắt đá với Nvidia.
Năm 2019, CoreWeave bắt đầu chuyển đổi các máy khai thác này thành trung tâm dữ liệu cấp doanh nghiệp để cung cấp cho khách hàng dịch vụ đám mây AI.Việc kinh doanh ban đầu còn khá ảm đạm nhưng sau khi ChatGPT ra đời, việc đào tạo và suy luận các mô hình lớn tiêu tốn rất nhiều công sức. CoreWeave, vốn đã có hàng chục nghìn card đồ họa (tất nhiên không nhất thiết phải là mẫu mới nhất), đã thành công như vũ bão, và cánh cửa đã chật kín khách hàng và các nhà đầu tư mạo hiểm.
Nhưng điều khiến mọi người cảm thấy kỳ lạ là: CoreWeave mới huy động được tổng cộng 580 triệu đô la Mỹ, và giá trị ròng của GPU trên sổ sách sẽ không vượt quá 1 tỷ đô la Mỹ, thậm chí tổng giá trị của công ty chỉ là 2 tỷ đô la Mỹ, nhưng tại sao nó có thể vay 2,3 tỷ thông qua thế chấp?Còn đô la thì sao? Tại sao Phố Wall, vốn luôn giỏi tính toán và thích cắt giảm giá trị tài sản thế chấp, lại hào phóng đến vậy?
Nguyên nhân rất có thể là: Mặc dù CoreWeave không có nhiều card đồ họa trên tài khoản nhưng lại nhận được cam kết cung cấp từ Nvidia, đặc biệt là H100.
Mối quan hệ chặt chẽ của CoreWeave với Nvidia đã là một bí mật mở ở Thung lũng Silicon. Loại Hardcore này bắt nguồn từ sự trung thành và hỗ trợ không ngừng của CoreWeave dành cho Nvidia - chỉ sử dụng card của Nvidia, kiên quyết không tự làm lõi và giúp Nvidia tích trữ card khi card đồ họa không bán được. Đối với Huang, giá trị của mối quan hệ này vượt xa tình bạn nhựa với Microsoft, Google và Tesla.
Do đó, bất chấp sự thiếu hụt của Nvidia H100, Nvidia đã phân bổ một số lượng lớn thẻ mới cho CoreWeave, thậm chí phải trả giá bằng việc hạn chế nguồn cung cho các nhà sản xuất lớn như Amazon và Google. Huang Renxun đã ca ngợi trong cuộc gọi hội nghị: "Một nhóm nhà cung cấp dịch vụ đám mây GPU mới sẽ xuất hiện, trong đó nổi tiếng nhất là CoreWeave. Họ đang hoạt động rất tốt."
Một tuần trước khi Tập huy động được 2,3 tỷ USD, CoreWeave tuyên bố sẽ chi 1,6 tỷ USD để xây dựng một trung tâm dữ liệu có diện tích 42.000 mét vuông ở Texas. Chỉ dựa vào mối quan hệ với Nvidia và quyền phân phối ưu tiên, CoreWeave có thể vay tiền ngân hàng để xây dựng trung tâm dữ liệu - mô hình này khiến mọi người liên tưởng đến các nhà phát triển bất động sản ngay lập tức tìm kiếm khoản vay ngân hàng sau khi có được đất.
Vì vậy có thể nói, cam kết cung cấp H100 hiện tại có thể so sánh với một lô đất được phê duyệt trong thời kỳ hoàng kim của bất động sản.
Khó tìm H100
Trong một cuộc phỏng vấn vào tháng 4 năm nay, Musk phàn nàn [2] : “Có vẻ như ngay cả chó bây giờ cũng đang mua GPU.”
Trớ trêu thay, Tesla lại phát hành chip D1 do mình tự phát triển ngay từ đầu năm 2021. Nó do TSMC sản xuất và sử dụng quy trình 7nm, tuyên bố có thể thay thế A100 chủ đạo của Nvidia vào thời điểm đó. Nhưng hai năm sau, Nvidia ra mắt H100 mạnh mẽ hơn, còn D1 của Tesla không có phiên bản tiếp theo, nên khi Musk cố gắng thành lập công ty trí tuệ nhân tạo của riêng mình, ông vẫn phải quỳ trước cửa nhà ông Huang và xin phép. .
H100 chính thức ra mắt vào ngày 20/9 năm ngoái và được sản xuất theo quy trình TSMC 4N. So với A100 trước đây, thẻ đơn H100 có thể tăng tốc độ suy luận lên 3,5 lần và tốc độ đào tạo lên 2,3 lần, nếu sử dụng phương pháp tính toán cụm máy chủ, tốc độ đào tạo có thể tăng lên 9 lần. tuần, bây giờ chỉ mất 20 giờ.
So với A100, giá một thẻ đơn của H100 đắt hơn, gấp khoảng 1,5 đến 2 lần so với A100, nhưng hiệu quả đào tạo các mẫu lớn đã tăng 200% nên “hiệu suất một đô la” tính theo tính toán này cao hơn. Nếu kết hợp với giải pháp hệ thống kết nối tốc độ cao mới nhất của Nvidia, hiệu suất GPU tính trên mỗi đô la có thể cao hơn gấp 4-5 lần nên được khách hàng săn lùng ráo riết.
Khách hàng đổ xô mua H100 chủ yếu chia làm 3 loại:
Hạng mục đầu tiên là những gã khổng lồ về điện toán đám mây toàn diện, như Microsoft Azure, Google GCP và Amazon AWS. Đặc điểm của họ là có túi tiền sâu và muốn "bao phủ" năng lực sản xuất của Nvidia ở mọi thời điểm, tuy nhiên, mỗi công ty cũng có những âm mưu ngầm, không hài lòng với vị thế gần như độc quyền của Nvidia và bí mật phát triển chip của riêng mình để giảm chi phí.
Loại thứ hai là các nhà cung cấp dịch vụ GPU đám mây độc lập, điển hình bao gồm CoreWeave, Lambda, RunPod, v.v. kể trên. Loại công ty này có sức mạnh tính toán tương đối nhỏ nhưng có thể cung cấp các dịch vụ khác biệt, Nvidia cũng rất ủng hộ loại công ty này, thậm chí còn đầu tư trực tiếp vào CoreWeave và Lambda, mục đích rất rõ ràng: cung cấp dịch vụ cho những gã khổng lồ xây dựng lõi riêng tư. Nhỏ thuốc nhỏ mắt.
Loại thứ ba là các công ty lớn và nhỏ đang đào tạo LLM (Mô hình ngôn ngữ lớn). Nó bao gồm các công ty khởi nghiệp như Anthropic, Inflection và Midjourney, cũng như những gã khổng lồ công nghệ như Apple, Tesla và Meta. Họ thường sử dụng sức mạnh tính toán của các nhà cung cấp dịch vụ đám mây bên ngoài, đồng thời mua GPU của riêng mình để xây dựng bếp nấu ăn của riêng mình - người có tiền mua nhiều hơn, người không có tiền mua ít hơn và mục đích chính là tiết kiệm mọi người.
Trong ba loại khách hàng này, Microsoft Azure có ít nhất 50.000 H100, Google có khoảng 30.000 H100, Oracle có khoảng 20.000, Tesla và Amazon cũng có ít nhất khoảng 10.000. CoreWeave được cho là có cam kết hạn ngạch là 35.000 (mức thực tế). giao hàng khoảng 10.000). Các công ty khác hiếm khi có hơn 10.000 bản.
Ba loại khách hàng này cần tổng cộng bao nhiêu chiếc H100? Theo dự đoán từ tổ chức GPU Utils ở nước ngoài, nhu cầu hiện tại về H100 là khoảng 432.000. Trong số đó, OpenAI cần 50.000 tờ để đào tạo GPT-5, Inflection cần 22.000 tờ, Meta yêu cầu 25.000 tờ (một số người nói là 100.000 tờ) và mỗi nhà cung cấp trong số bốn nhà cung cấp đám mây công cộng lớn cần ít nhất 30.000 tờ, tức là 100.000 tờ và các nhà sản xuất mô hình nhỏ khác cũng có nhu cầu 100.000 chiếc. [3] 。
Lô hàng H100 của Nvidia trong năm 2023 sẽ vào khoảng 500.000 chiếc, hiện tại năng lực sản xuất của TSMC vẫn đang tăng cao, đến cuối năm tình trạng khó khăn của thẻ H100 sẽ được giảm bớt.
Nhưng về lâu dài, chênh lệch cung cầu của H100 sẽ tiếp tục gia tăng cùng với sự bùng nổ của các ứng dụng AIGC. Theo Financial Times, lô hàng H100 vào năm 2024 sẽ cao tới 1,5 triệu đến 2 triệu tờ, tăng gấp 3-4 lần so với 500.000 tờ năm nay. [4] 。
Những dự đoán của Phố Wall thậm chí còn triệt để hơn: ngân hàng đầu tư Hoa Kỳ Piper Sandler tin rằng doanh thu từ trung tâm dữ liệu của Nvidia sẽ vượt 60 tỷ USD vào năm tới (Quý 2 năm tài chính 24: 10,32 tỷ USD). triệu bản.
Thậm chí còn có những ước tính phóng đại hơn. Một xưởng đúc lớn nhất của máy chủ H100 (với thị phần từ 70% -80%) đã vận chuyển máy chủ H100 kể từ tháng 6 năm nay và năng lực sản xuất của hãng này đã tiếp tục tăng trong tháng 7. Một cuộc khảo sát gần đây cho thấy xưởng đúc tin rằng khối lượng vận chuyển thẻ A+H vào năm 2024 sẽ nằm trong khoảng từ 4,5 triệu đến 5 triệu.
Điều này có nghĩa là "sự giàu có và giàu có" đối với Nvidia, bởi mức độ lợi nhuận khổng lồ của H100 là điều không thể tưởng tượng được đối với những người ở các ngành khác.
##Card đồ họa đắt hơn vàng
Để tìm hiểu xem H100 sinh lời như thế nào, chúng ta có thể phân tích hoàn toàn bảng nguyên vật liệu (BOM) của nó.
Như trong hình, phiên bản linh hoạt nhất của H100, H100 SXM, sử dụng gói 7 khuôn CoWoS của TSMC. Sáu chip HBM3 16G được sắp xếp thành hai hàng sát nhau bao quanh chip logic ở giữa.
Đây cũng cấu thành 3 bộ phận quan trọng nhất của H100: chip logic, chip nhớ HBM, gói CoWoS, ngoài ra còn có một số linh kiện phụ trợ như bo mạch PCB và các linh kiện phụ trợ khác nhưng giá trị không cao.
Kích thước chip logic lõi là 814mm^2, được sản xuất tại Nhà máy Đài Nam tiên tiến nhất số 18 của TSMC và nút quy trình được sử dụng là "4N". Mặc dù tên bắt đầu bằng 4 nhưng thực tế nó là 5nm+. Do sự kém phát triển ở các lĩnh vực hạ nguồn 5nm, chẳng hạn như điện thoại di động, TSMC không gặp vấn đề gì trong việc đảm bảo nguồn cung chip logic.
Chip logic này được sản xuất bằng cách cắt một tấm wafer 12 inch (diện tích 70.695 mm^2). Trong điều kiện lý tưởng, có thể cắt ra 86 mảnh. Tuy nhiên, xem xét tỷ lệ năng suất 80% và tổn thất cắt của dòng "4N", cái cuối cùng Chỉ có 65 chip logic lõi mới có thể được cắt ra khỏi một tấm wafer 12 inch.
Chip logic lõi này có giá bao nhiêu? Báo giá năm 2023 của TSMC cho một tấm wafer 12 inch là 13.400 USD, do đó, một tấm wafer đơn lẻ có giá khoảng 200 USD.
Tiếp theo là 6 chip HBM3 hiện đang được cung cấp độc quyền bởi SK Hynix, công ty này vốn có nguồn gốc từ điện tử hiện đại, gần như đã cam kết với Micron vào năm 2002. Với chiến lược truyền máu và năng lực sản xuất ngược chu kỳ của chính phủ, giờ đây họ đã nằm trong It của HBM. đi trước Micron ít nhất 3 năm về công nghệ sản xuất hàng loạt (Micron mắc kẹt ở HBM2e và Hynix sẽ sản xuất hàng loạt vào giữa năm 2020).
Giá cụ thể của HBM được giữ bí mật nhưng theo truyền thông Hàn Quốc, HBM hiện cao gấp 5-6 lần so với các sản phẩm DRAM hiện có. Giá của VRAM GDDR6 hiện tại là khoảng 3 USD mỗi GB, do đó giá của HBM được ước tính vào khoảng 15 USD mỗi GB. Chiếc H100 SXM đó có giá 1500 USD trên HBM.
Mặc dù giá HBM tiếp tục tăng trong năm nay và các giám đốc điều hành của Nvidia và Meta cũng đã đến Hynix để "giám sát công việc", HBM3 của Samsung sẽ dần dần được sản xuất hàng loạt và xuất xưởng vào nửa cuối năm nay. mang trong mình dòng máu tổ tiên của bộ đôi Hàn Quốc thì phải đến năm sau HBM sẽ không còn là nút thắt cổ chai nữa.
Nút thắt thực sự là quy trình đóng gói CoWoS của TSMC, đây là quy trình đóng gói 2.5D. So với bao bì 3D đục lỗ trực tiếp (TSV) và nối dây (RDL) trên chip, CoWoS có thể mang lại chi phí, khả năng tản nhiệt và băng thông thông lượng tốt hơn. Hai cái đầu tiên tương ứng với HBM, và hai cái sau là chìa khóa cho GPU.
Vì vậy, nếu bạn muốn một con chip có dung lượng lưu trữ cao và khả năng tính toán cao thì CoWoS là giải pháp duy nhất về mặt đóng gói. Việc cả 4 GPU của Nvidia và AMD đều sử dụng CoWoS là bằng chứng rõ ràng nhất.
CoWoS có giá bao nhiêu? Báo cáo tài chính 22 năm của TSMC tiết lộ rằng quy trình CoWoS chiếm 7% tổng doanh thu, vì vậy nhà phân tích nước ngoài Robert Castellano đã tính toán dựa trên năng lực sản xuất và kích thước của khuôn trần rằng việc đóng gói một con chip AI có thể mang lại cho TSMC doanh thu 723 USD. [6] 。
Như vậy, tổng cộng 3 hạng mục chi phí lớn nhất trên là khoảng 2.500 USD, trong đó TSMC chiếm khoảng 1.000 USD (chip logic + CoWoS), SK Hynix chiếm 1.500 USD (Chắc chắn Samsung sẽ tham gia trong thời gian tới) , sau đó tính PCB và các vật liệu khác, tổng chi phí vật liệu không vượt quá 3.000 USD.
H100 bán bao nhiêu? 35.000 đô la Mỹ, chỉ cần thêm số 0 và tỷ suất lợi nhuận gộp vượt quá 90%. Trong 10 năm qua, tỷ suất lợi nhuận gộp của Nvidia là khoảng 60%. Hiện được thúc đẩy bởi A100/A800/H100 có tỷ suất lợi nhuận cao, tỷ suất lợi nhuận gộp quý 2 năm nay của Nvidia đã đạt 70%.
Điều này hơi phản trực giác: Nvidia phụ thuộc rất nhiều vào xưởng đúc của TSMC, nơi có địa vị không thể chạm tới và thậm chí là mắt xích cốt lõi duy nhất có thể bóp cổ Nvidia. Nhưng đối với một chiếc thẻ trị giá 35.000 đô la như vậy, TSMC, công ty sản xuất nó, chỉ có thể nhận được 1.000 đô la và đó chỉ là doanh thu chứ không phải lợi nhuận.
Tuy nhiên, việc sử dụng tỷ suất lợi nhuận gộp để xác định lợi nhuận khổng lồ không có nhiều ý nghĩa đối với các công ty sản xuất chip, nếu bắt đầu từ cát thì tỷ suất lợi nhuận gộp sẽ cao hơn. Một tấm wafer 12 inch làm bằng công nghệ 4N được TSMC bán cho mọi người với giá gần 15.000 USD, NVIDIA đương nhiên có bí quyết cộng thêm giá bán lẻ để bán cho khách hàng.
Bí quyết của mánh khóe: Nvidia về cơ bản là một công ty phần mềm đội lốt nhà sản xuất phần cứng.
Hào mềm và hào cứng
Vũ khí lợi hại nhất của Nvidia nằm ở phần tỷ suất lợi nhuận gộp trừ đi tỷ suất lợi nhuận ròng.
Trước đợt bùng nổ AI này, tỷ suất lợi nhuận gộp của Nvidia duy trì ở mức khoảng 65% quanh năm, trong khi tỷ suất lợi nhuận ròng thường chỉ là 30%. Trong quý 2 năm nay, được thúc đẩy bởi A100/A800/H100 có tỷ suất lợi nhuận cao, tỷ suất lợi nhuận gộp ở mức 70% và tỷ suất lợi nhuận ròng cao tới 45,81%.
Nvidia hiện có hơn 20.000 nhân viên trên toàn thế giới, hầu hết đều là kỹ sư phần mềm và phần cứng được trả lương cao, theo dữ liệu từ Glassdoor, mức lương trung bình hàng năm cho những vị trí này về cơ bản là hơn 200.000 USD mỗi năm.
Trong mười năm qua, giá trị tuyệt đối của chi tiêu R&D của NVIDIA đã duy trì mức tăng trưởng nhanh chóng và tỷ lệ chi phí R&D cũng duy trì ở trạng thái ổn định trên 20%. Tất nhiên, nếu nhu cầu về thiết bị đầu cuối bùng nổ trong một năm nhất định, chẳng hạn như deep learning năm 2017, khai thác trong 21 năm và các mô hình ngôn ngữ lớn trong năm nay, mẫu số doanh thu đột ngột tăng lên và tỷ lệ chi phí R&D sẽ giảm 20%. trong thời gian ngắn, lợi nhuận cũng sẽ tăng phi tuyến tính.
Trong số rất nhiều dự án do NVIDIA phát triển, dự án quan trọng nhất chắc chắn là CUDA.
Năm 2003, để giải quyết vấn đề ngưỡng cao cho lập trình DirectX, nhóm của Ian Buck đã cho ra đời một mô hình lập trình có tên Brook, đây cũng chính là nguyên mẫu của CUDA mà sau này người ta thường nói đến. Năm 2006, Buck gia nhập Nvidia và thuyết phục Huang Renxun phát triển CUDA [8] 。
Vì hỗ trợ tính toán song song trong môi trường ngôn ngữ C, CUDA đã trở thành lựa chọn hàng đầu của các kỹ sư và GPU đã dấn thân vào con đường của bộ xử lý đa năng (GPGPU).
Sau khi CUDA dần dần trưởng thành, Buck một lần nữa thuyết phục Huang Renxun rằng tất cả GPU NVIDIA trong tương lai đều phải hỗ trợ CUDA. Dự án CUDA được thành lập vào năm 2006 và sản phẩm được ra mắt vào năm 2007. Khi đó, doanh thu hàng năm của NVIDIA chỉ là 3 tỷ đô la Mỹ nhưng họ đã chi 500 triệu đô la Mỹ cho CUDA. Đến năm 2017, riêng chi phí R&D cho CUDA đã vượt quá 10 tỷ.
CEO của một công ty điện toán đám mây tư nhân từng nói trong một cuộc phỏng vấn rằng họ không nghĩ đến việc chuyển sang thẻ AMD, nhưng phải mất ít nhất hai tháng để gỡ lỗi các thẻ này để hoạt động bình thường [3] . Để rút ngắn hai tháng này, Nvidia đã đầu tư hàng chục tỷ đồng và kéo dài 20 năm.
Ngành công nghiệp chip đã thăng trầm hơn nửa thế kỷ và chưa bao giờ có một công ty như Nvidia bán cả phần cứng và hệ sinh thái, hay nói theo cách của Huang Renxun: "Nó bán hệ thống barebone". Vì vậy, mục tiêu của Nvidia quả thực không phải là những hiền nhân trong lĩnh vực chip mà là Apple, một công ty bán hệ thống khác.
Từ khi ra mắt CUDA vào năm 2007 đến khi trở thành nhà máy in tiền lớn nhất thế giới, NVIDIA không phải không có đối thủ.
Năm 2008, Intel, ông vua chip lúc bấy giờ, đã gián đoạn hợp tác với Nvidia trong dự án màn hình tích hợp và tung ra bộ xử lý đa năng (GPCPU) của riêng mình, với ý định “thống trị dòng sông” trong lĩnh vực PC. Tuy nhiên, trong những năm tiếp theo của các lần lặp lại sản phẩm, Nvidia nhất quyết quảng bá bộ xử lý của riêng mình sang các lĩnh vực đòi hỏi khả năng tính toán mạnh mẽ hơn như không gian, tài chính và y sinh, do đó Intel buộc phải hủy bỏ kế hoạch card đồ họa độc lập trong 10 năm. vì nó không thấy hy vọng gì để trấn áp nó.
Năm 2009, nhóm phát triển của Apple đã tung ra OpenCL với hy vọng giành được một phần miếng bánh của CUDA nhờ tính linh hoạt của nó. Tuy nhiên, OpenCL thua xa CUDA trong hệ sinh thái học sâu. Nhiều khung học tập hỗ trợ OpenCL sau khi CUDA được phát hành hoặc hoàn toàn không hỗ trợ OpenCL. Kết quả là OpenCL đã tụt lại phía sau trong lĩnh vực học sâu và không thể chạm tới các doanh nghiệp có giá trị gia tăng cao hơn.
Năm 2015, AlphaGo bắt đầu thể hiện sự nổi bật của mình trong lĩnh vực cờ vây, thông báo kỷ nguyên trí tuệ nhân tạo đã đến. Lúc này, để bắt kịp chuyến tàu cuối cùng, Intel đã đưa GPU của AMD vào chip hệ thống của riêng mình. Đây là lần hợp tác đầu tiên giữa hai công ty kể từ những năm 1980. Nhưng hiện tại, giá trị thị trường tổng hợp của người dẫn đầu CPU, người dẫn đầu thứ hai và người dẫn đầu GPU chỉ bằng 1/4 so với người dẫn đầu GPU Nvidia.
Theo quan điểm hiện tại, con hào của Nvidia gần như không thể bị phá hủy. Mặc dù có nhiều khách hàng lớn mỉm cười giấu dao và bí mật phát triển GPU của riêng họ, nhưng với hệ sinh thái khổng lồ và tốc độ lặp lại nhanh chóng, những khách hàng lớn này không thể chọc thủng các vết nứt trong đế chế, bằng chứng là Tesla. Hoạt động kinh doanh máy in tiền của Nvidia sẽ tiếp tục trong tương lai gần.
Có lẽ nơi duy nhất Huang Renxun bị mây đen ám ảnh là nơi có nhiều khách hàng và nhu cầu mạnh nhưng H100 không bán được mà người ta đang nghiến răng giải quyết vấn đề - chỉ có một nơi duy nhất trên thế giới.
Người giới thiệu
[1] Crunchbase
[2] 'Mọi người và con chó của họ đang mua GPU', Musk nói khi khởi nghiệp AI Chi tiết về PHẦN CỨNG của Emerge-tom
[3] GPU Nvidia H100: Tiện ích cung và cầu-GPU
[4] Sự thiếu hụt chuỗi cung ứng làm trì hoãn vận may AI của ngành công nghệ, FT
[5] Các hạn chế về năng lực AI - Chuỗi cung ứng CoWoS và HBM-DYLAN PATEL, MYRON XIE và GERALD WONG,Semiaanalysis
[6] Công ty bán dẫn Đài Loan: Bị đánh giá thấp đáng kể khi là nhà cung cấp chip và gói cho Nvidia-Robert Castellano, Đang tìm kiếm Alpha
[7] Chiến tranh chip, Yu Sheng
[8] CUDA là gì? Lập trình song song cho GPU-Martin Heller,InfoWorld
[9] Hướng dẫn sử dụng NVIDIA DGX H100