3 августа 2023 года Уолл-стрит и Кремниевая долина совместно представили крупное событие, которое шокировало отрасль: компания-стартап получила возможность получить долговое финансирование на сумму 2,3 миллиарда долларов США, а залогом стала самая твёрдая валюта в мире — видеокарта H100.
Главным героем этого большого мероприятия является CoreWeave. Его основной бизнес — частные облачные сервисы искусственного интеллекта. Проще говоря, он предоставляет вычислительную инфраструктуру для стартапов искусственного интеллекта и крупных коммерческих клиентов, создавая центр обработки данных с большим объемом вычислительной мощности графических процессоров. CoreWeave привлекла в общей сложности 580 миллионов долларов США и в настоящее время находится в серии B с оценкой в 2 миллиарда долларов США.
CoreWeave была основана в 2016 году тремя биржевыми трейдерами с Уолл-стрит. Вначале основной бизнес компании был только один: майнинг, закупка большого количества графических процессоров для строительства майнингового машинного центра.Особенно, когда валютный круг был в упадке, компания запасалась большим количеством видеокарт. антициклически и таким образом установила железную революционную дружбу с Nvidia.
Три сооснователя CoreWeave
В 2019 году CoreWeave начала превращать эти машины для майнинга в центры обработки данных корпоративного уровня, чтобы предоставлять клиентам облачные услуги искусственного интеллекта. вычислительная мощность каждый день.CoreWeave, у которой уже есть десятки тысяч видеокарт (конечно, не обязательно последней модели), спешил взлететь, и дверь была битком набита клиентами и венчурными инвесторами.
Но что заставляет людей чувствовать себя странно, так это то, что CoreWeave собрала всего 580 миллионов долларов США, а чистая стоимость ее графического процессора не превысит 1 миллиард долларов США. Даже общая оценка компании составляет всего 2 миллиарда долларов США, но почему оно занимает 2,3 миллиарда долларов США через ипотечные кредиты? Почему Уолл-стрит, которая всегда была хороша в расчетах и стремилась снизить стоимость залога, так щедра?
Причина, скорее всего, заключается в том, что хотя у CoreWeave не так много видеокарт на счету, она получила обязательства по поставкам от Nvidia, особенно H100.
Прочные отношения CoreWeave с Nvidia уже являются секретом полишинеля в Кремниевой долине. Этот вид хардкора коренится в непоколебимой лояльности CoreWeave и поддержке Nvidia — используйте только карты Nvidia, решительно не делайте ядра самостоятельно и помогайте Nvidia запасаться картами, когда видеокарту невозможно продать. Для Хуан Жэньсюня золотое содержание этих отношений намного превосходит пластиковую дружбу с Microsoft, Google и Tesla.
Поэтому, несмотря на нехватку Nvidia H100, Nvidia выделила CoreWeave большое количество новых карт и даже ограничила поставки крупным производителям, таким как Amazon и Google. Хуан Жэньсюнь похвалил во время телеконференции: «Появится новая группа поставщиков облачных услуг графических процессоров, самой известной из которых является CoreWeave. У них дела идут очень хорошо».
За неделю до того, как Си Цзиньпин привлек 2,3 миллиарда долларов, CoreWeave объявила, что потратит 1,6 миллиарда долларов на строительство центра обработки данных площадью 42 000 квадратных метров в Техасе. Только опираясь на отношения с Nvidia и права приоритетного распределения, CoreWeave может занять деньги у банка для строительства центра обработки данных — эта модель напоминает людям застройщиков, которые сразу же обращаются за банковскими кредитами после приобретения земли.
Таким образом, можно сказать, что нынешние обязательства по поставке H100 сравнимы с разрешением на получение земельного участка в золотой век недвижимости.
Трудно найти H100
В интервью в апреле этого года Маск пожаловался, что [2] : «Похоже, что теперь даже собаки покупают графические процессоры».
По иронии судьбы, Tesla выпустила свой чип D1 собственной разработки еще в 2021 году. Он был произведен TSMC и использовал 7-нм техпроцесс, утверждая, что он сможет заменить основной на тот момент A100 от Nvidia. Но спустя 2 года Nvidia выпустила более мощный H100, а у Tesla D1 нет последующей итерации.Поэтому, когда Маск попытался создать собственную компанию по искусственному интеллекту, ему все равно пришлось встать на колени перед дверью господина Хуана и попросить разрешения. .
H100 был официально представлен 20 сентября прошлого года и изготовлен по технологии TSMC 4N. По сравнению со своим предшественником A100, одна карта H100 повышает скорость вывода в 3,5 раза и скорость обучения в 2,3 раза.Если используется метод кластерных вычислений серверов, скорость обучения может быть увеличена до 9 раз.Первоначальная рабочая нагрузка составляет одну неделю. Сейчас это занимает всего 20 часов.
Схема архитектуры GH100
По сравнению с A100 цена одной карты H100 дороже, примерно в 1,5-2 раза, чем у A100, но эффективность обучения больших моделей выросла на 200%, поэтому «производительность на доллар» выше. . В сочетании с новейшим решением системы высокоскоростного подключения NVIDIA производительность графического процессора на доллар может быть в 4-5 раз выше, поэтому клиенты пользуются большим спросом.
Покупатели, спешащие купить H100, в основном делятся на три категории:
Первая категория — это гиганты комплексных облачных вычислений, такие как Microsoft Azure, Google GCP и Amazon AWS. Их особенностью является то, что они имеют глубокие карманы и хотят «прикрыть» производственные мощности Nvidia на каждом шагу. Однако у каждой компании есть и скрытые цели. Они недовольны почти монопольным положением Nvidia и тайно разрабатывают собственные чипы для снижения затрат.
Вторая категория — это независимые поставщики облачных услуг графических процессоров, типичные компании, такие как упомянутая выше CoreWeave, а также Lambda, RunPod и т. д. Компании этого типа имеют относительно небольшую вычислительную мощность, но могут предоставлять дифференцированные услуги. Nvidia также решительно поддерживает этот тип компаний и даже напрямую инвестирует в CoreWeave и Lambda. Цель очень ясна: предоставлять услуги тем гигантам, которые создают ядра. Закапайте глазные капли.
Третья категория — крупные и мелкие компании, которые сами обучают LLM (большая языковая модель). В их число входят такие стартапы, как Anthropic, Inflection и Midjourney, а также технологические гиганты, такие как Apple, Tesla и Meta. Обычно они используют вычислительные мощности внешних поставщиков облачных услуг, покупая собственные графические процессоры для создания собственных печей — те, у кого есть деньги, покупают больше, те, у кого денег нет, покупают меньше, а главная цель — позволить людям быть богатыми и бережливыми.
Среди этих трех типов клиентов Microsoft Azure имеет не менее 50 000 H100, Google — около 30 000, Oracle — около 20 000, а Tesla и Amazon — не менее 10 000. Сообщается, что CoreWeave имеет обязательство выпустить 35 000 копий (фактическая поставка составляет около 10 000). . Лишь немногие другие компании имеют более 10 000 билетов.
Сколько H100 в общей сложности нужно этим трем типам клиентов? По прогнозам зарубежной организации GPU Utils, текущий спрос на H100 составляет примерно 432 000. Среди них OpenAI нужно 50 000 листов для обучения GPT-5, Inflection — 22 000 листов, Meta — 25 000 листов (некоторые говорят, что 100 000 листов), а каждому из четырех крупнейших поставщиков общедоступных облаков нужно не менее 30 000 листов. другие производители небольших моделей также имеют спрос на 100 000 штук. [3] 。
Поставки Nvidia H100 в 2023 году составят около 500 000 единиц. В настоящее время производственные мощности TSMC продолжают расти. К концу года сложная ситуация с картами H100 будет облегчена.
Но в долгосрочной перспективе разрыв между спросом и предложением H100 будет продолжать увеличиваться с появлением приложений AIGC. Согласно отчету Financial Times, объем поставок H100 в 2024 году составит от 1,5 до 2 миллионов, что в 3-4 раза превышает 500 000 в этом году. [4] 。
Прогнозы Уолл-стрит еще более радикальны: американский инвестиционный банк Piper Sandler полагает, что выручка центров обработки данных Nvidia в следующем году превысит 60 миллиардов долларов США (2 квартал 24 финансового года: 10,32 миллиардов долларов США). миллион копий.
Есть и еще более преувеличенные оценки. Крупнейший производитель серверов H100 (с долей рынка 70–80%) поставляет серверы H100 с июня этого года, а в июле его производственные мощности продолжали увеличиваться. Недавнее исследование показывает, что литейный завод полагает, что объем поставок карт A+H в 2024 году составит от 4,5 до 5 миллионов штук.
Для Nvidia это означает «богатство и богатство», потому что степень огромных прибылей H100 невообразима для людей в других отраслях.
Видеокарта дороже золота
Чтобы выяснить, насколько прибыльен H100, мы могли бы полностью разобрать его спецификацию (BOM).
Как показано на рисунке, наиболее универсальная версия H100, H100 SXM, использует корпус TSMC CoWoS с 7 кристаллами.Шесть микросхем 16G HBM3 расположены в два ряда, близко окружающих среднюю логическую микросхему.
Это также три наиболее важные части H100: логический чип, чип памяти HBM и пакет CoWoS.Кроме того, есть также некоторые вспомогательные устройства, такие как печатные платы и другие вспомогательные устройства, но их ценность невелика.
Схема разборки H100
Размер основного логического чипа составляет 814 мм^2, он производится на самом передовом заводе TSMC № 18 в Тайнане, а используемый технологический узел — «4N». Хотя название начинается с 4, на самом деле это 5 нм+. Из-за слабого развития 5-нм нисходящих областей, таких как мобильные телефоны, у TSMC нет проблем с обеспечением поставок логических чипов.
Этот логический чип изготавливается путем разрезания 12-дюймовой пластины (площадь 70 695 мм^2). В идеальных условиях можно вырезать 86 частей. Однако, учитывая 80%-ный выход продукции и потери при резке линии "4N", последний: Из 12-дюймовой пластины можно вырезать только 65 основных логических микросхем.
Сколько стоит этот основной логический чип? Внешнее предложение TSMC на 12-дюймовую пластину в 2023 году составляет 13 400 долларов США, поэтому в пересчете на одну пластину она будет стоить около 200 долларов США.
Следующими идут 6 чипов HBM3, которые в настоящее время эксклюзивно поставляются SK Hynix. Эта компания, которая возникла в сфере современной электроники, почти присоединилась к Micron в 2002 году. по технологии массового производства он опережает Micron как минимум на 3 года (Micron застрял на HBM2e, а Hynix будет выпускаться серийно в середине 2020 года).
Конкретная цена HBM держится в секрете каждой компанией, но, по данным корейских СМИ, в настоящее время HBM в 5-6 раз превышает стоимость существующих продуктов DRAM. Цена существующей видеопамяти GDDR6 составляет около 3 долларов США за ГБ, поэтому цена HBM оценивается примерно в 15 долларов США за ГБ. Этот H100 SXM стоит на HBM 1500 долларов.
Хотя цена на HBM в этом году продолжает расти, а руководители Nvidia и Meta также отправились в Hynix, чтобы «контролировать работу», HBM3 от Samsung будет постепенно производиться серийно и поставляться во второй половине года. из наследственной крови корейского дуэта, это должно быть. К следующему году HBM больше не будет узким местом.
Настоящим узким местом является упаковка CoWoS от TSMC, представляющая собой процесс упаковки 2.5D. По сравнению с 3D-упаковкой, в которой непосредственно пробивают отверстия (TSV) и проводку (RDL) на чипе, CoWoS может обеспечить лучшую стоимость, рассеивание тепла и пропускную способность. Первые два соответствуют HBM, а последние два являются ключом к графическому процессору.
Поэтому, если вам нужен чип с большой емкостью памяти и высокой вычислительной мощностью, CoWoS — единственное решение с точки зрения упаковки. Тот факт, что все четыре графических процессора от Nvidia и AMD используют CoWoS, является лучшим тому подтверждением.
Сколько стоит CoWoS? В финансовом отчете TSMC за 2022 год указано, что на процесс CoWoS приходится 7% от общего дохода, поэтому зарубежный аналитик Роберт Кастеллано подсчитал, исходя из производственных мощностей и размера кристалла, что упаковка ИИ-чипа может принести TSMC 723 доллара дохода. [6] 。
Следовательно, сумма трех приведенных выше крупнейших статей затрат составляет около 2500 долларов США, из них на долю TSMC приходится около 1000 долларов США (логический чип + CoWoS), на SK Hynix приходится 1500 долларов США (Samsung обязательно подключится в будущем) , а затем посчитайте печатные платы и другие материалы, общая стоимость материалов не превышает 3000 долларов США.
Сколько стоит H100? 35 000 долларов США, просто добавьте ноль, и валовая прибыль превысит 90%. За последние 10 лет валовая прибыль NVIDIA составляла около 60%.Теперь, благодаря высокой валовой прибыли A100/A800/H100, валовая прибыль NVIDIA достигла 70% во втором квартале этого года.
Это немного противоречит здравому смыслу: Nvidia во многом полагается на литейное производство TSMC, а статус последней непоколебим, и это даже единственное ключевое звено, которое может прилипнуть к шее Nvidia. Но за такую карту стоимостью 35 000 долларов компания TSMC, которая ее производит, может получить только 1000 долларов, и это всего лишь доход, а не прибыль.
Однако использование валовой прибыли для определения огромной прибыли не имеет особого смысла для компаний, производящих микросхемы. 12-дюймовая пластина, изготовленная по технологии 4N, продается TSMC всем желающим почти за 15 000 долларов США. NVIDIA, естественно, имеет свое ноу-хау в добавлении розничной цены для продажи ее клиентам.
Секрет трюка: Nvidia — это, по сути, компания-разработчик программного обеспечения, маскирующаяся под производителя оборудования.
Мягкий и твердый ров
Самое мощное оружие NVIDIA скрыто в валовой прибыли за вычетом чистой прибыли.
До этого витка бума искусственного интеллекта валовая прибыль Nvidia оставалась на уровне около 65% круглый год, в то время как ее чистая прибыль обычно составляла всего 30%. Во втором квартале этого года, благодаря высокой валовой прибыли A100/A800/H100, валовая прибыль составила 70%, а чистая прибыль достигла 45,81%.
За последние три финансовых года валовая прибыль и чистая прибыль NVIDIA (NVIDIA) за один квартал
В настоящее время в Nvidia работает более 20 000 сотрудников по всему миру, большинство из которых — высокооплачиваемые инженеры по программному и аппаратному обеспечению.По данным Glassdoor, средняя годовая зарплата на этих должностях в основном составляет более 200 000 долларов США в год.
Коэффициент расходов NVIDIA на НИОКР за последние десять финансовых лет
За последние десять лет абсолютная стоимость расходов NVIDIA на НИОКР продолжала быстро расти, а уровень расходов на НИОКР также оставался на стабильном уровне выше 20%. Конечно, если спрос на терминалы резко возрастет в определенном году, например, на глубокое обучение в 2017 году, майнинг в 2021 году и большие языковые модели в этом году, знаменатель доходов внезапно вырастет, и уровень расходов на НИОКР ненадолго упадет до 20%. Соответственно, Прибыль также будет увеличиваться нелинейно.
Среди множества проектов, разработанных NVIDIA, наиболее важным, несомненно, является CUDA.
В 2003 году, чтобы решить проблему слишком высокого порога программирования DirectX, команда Яна Бака запустила модель программирования под названием Brook, которая также была прототипом того, что люди позже назвали CUDA. В 2006 году Бак присоединился к NVIDIA и убедил Дженсена Хуанга разработать CUDA. [8] 。
Поскольку CUDA поддерживает параллельные вычисления в среде языка C, она стала первым выбором инженеров, а графический процессор встал на путь процессоров общего назначения (GPGPU).
После постепенного развития CUDA Бак еще раз убедил Хуан Ренсюня, что все будущие графические процессоры NVIDIA должны поддерживать CUDA. Проект CUDA был основан в 2006 году, а продукт был запущен в 2007 году. .
Генеральный директор частной облачной компании как-то сказал в интервью, что они не думали о покупке карт AMD, но для отладки этих карт до нормальной работы потребуется не менее двух месяцев. [3] . Чтобы сократить эти два месяца, Nvidia вложила десятки миллиардов и понадобилось 20 лет.
Индустрия чипов переживала взлеты и падения на протяжении более полувека, и никогда не было такой компании, как Nvidia, которая продавала бы одновременно аппаратное обеспечение и экологию, или, как выразился Хуан Ренсюнь: «Она продает базовые системы». Таким образом, целью Nvidia действительно являются не мудрецы в области чипов, а Apple, еще одна компания, продающая системы.
От запуска CUDA в 2007 году до крупнейшей в мире фабрики по печати банкнот — у Nvidia есть конкуренты.
В 2008 году Intel, на тот момент король чиповой индустрии, прервала сотрудничество с Nvidia по проекту интегрированной графики и запустила собственный процессор общего назначения (GPCPU), намереваясь «нарисовать реку и доминировать» на рынке ПК. . Однако в последующих версиях продукта Nvidia настаивала на продвижении собственных процессоров в областях, требующих более мощной вычислительной мощности, таких как космос, финансы и биомедицина. отмените план независимой видеокарты.
В 2009 году команда разработчиков Apple запустила OpenCL, надеясь получить долю CUDA благодаря ее универсальности. Однако OpenCL значительно уступает CUDA в экологии глубокого обучения.Многие среды обучения либо поддерживают OpenCL после выпуска CUDA, либо не поддерживают OpenCL вообще. В результате отставание в глубоком обучении лишило OpenCL возможности использовать бизнес с более высокой добавленной стоимостью.
В 2015 году AlphaGo начала дебютировать в сфере го, заявив, что наступила эра искусственного интеллекта. В это время, чтобы догнать последний поезд, Intel поместила графический процессор AMD в собственный системный чип. Это первое сотрудничество между двумя компаниями с 1980-х годов. Но теперь совокупная рыночная стоимость лидера процессоров, второго дочернего + второго графического процессора, составляет лишь 1/4 от лидера графических процессоров Nvidia.
С нынешней точки зрения ров Nvidia практически непроницаем. Несмотря на то, что есть много крупных клиентов, которые тайно разрабатывают свои собственные графические процессоры, но с их огромной экосистемой и быстрыми итерациями, эти крупные клиенты не могут взломать трещины в империи, и Tesla является тому доказательством. Бизнес NVIDIA по производству печатных машин для денег продолжится в обозримом будущем.
Пожалуй, единственное место, где Хуан Жэньсюня преследуют темные тучи, — это место, где много клиентов и высокий спрос, но H100 невозможно продать, но люди стиснут зубы, чтобы решить эту проблему — в мире есть только одно место.
Использованная литература
[1] Кранчбейс
[2] «Все и их собаки покупают графические процессоры», — говорит Маск в подробностях стартапа по искусственному интеллекту
[3] Графические процессоры Nvidia H100: спрос и предложение на графические процессоры
[4] Дефицит цепочек поставок задерживает успех ИИ в технологическом секторе，FT
[5] Ограничения возможностей искусственного интеллекта — цепочка поставок CoWoS и HBM — ДИЛАН ПАТЕЛ, МАЙРОН СЕ И ДЖЕРАЛЬД ВОНГ, полуанализ
[6] Тайваньская компания Semiconductor: значительно недооценена как поставщик чипов и корпусов для Nvidia-Роберт Кастеллано, ищет альфу
[7] Чип Войны, Юй Шэн
[8] Что такое КУДА? Параллельное программирование для графических процессоров — Мартин Хеллер, InfoWorld
[9] Руководство пользователя NVIDIA DGX H100
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Сумасшедший H100
Оригинал: Ван Ичуань
**Источник:**Общество исследования кремния.
3 августа 2023 года Уолл-стрит и Кремниевая долина совместно представили крупное событие, которое шокировало отрасль: компания-стартап получила возможность получить долговое финансирование на сумму 2,3 миллиарда долларов США, а залогом стала самая твёрдая валюта в мире — видеокарта H100.
Главным героем этого большого мероприятия является CoreWeave. Его основной бизнес — частные облачные сервисы искусственного интеллекта. Проще говоря, он предоставляет вычислительную инфраструктуру для стартапов искусственного интеллекта и крупных коммерческих клиентов, создавая центр обработки данных с большим объемом вычислительной мощности графических процессоров. CoreWeave привлекла в общей сложности 580 миллионов долларов США и в настоящее время находится в серии B с оценкой в 2 миллиарда долларов США.
CoreWeave была основана в 2016 году тремя биржевыми трейдерами с Уолл-стрит. Вначале основной бизнес компании был только один: майнинг, закупка большого количества графических процессоров для строительства майнингового машинного центра.Особенно, когда валютный круг был в упадке, компания запасалась большим количеством видеокарт. антициклически и таким образом установила железную революционную дружбу с Nvidia.
В 2019 году CoreWeave начала превращать эти машины для майнинга в центры обработки данных корпоративного уровня, чтобы предоставлять клиентам облачные услуги искусственного интеллекта. вычислительная мощность каждый день.CoreWeave, у которой уже есть десятки тысяч видеокарт (конечно, не обязательно последней модели), спешил взлететь, и дверь была битком набита клиентами и венчурными инвесторами.
Но что заставляет людей чувствовать себя странно, так это то, что CoreWeave собрала всего 580 миллионов долларов США, а чистая стоимость ее графического процессора не превысит 1 миллиард долларов США. Даже общая оценка компании составляет всего 2 миллиарда долларов США, но почему оно занимает 2,3 миллиарда долларов США через ипотечные кредиты? Почему Уолл-стрит, которая всегда была хороша в расчетах и стремилась снизить стоимость залога, так щедра?
Причина, скорее всего, заключается в том, что хотя у CoreWeave не так много видеокарт на счету, она получила обязательства по поставкам от Nvidia, особенно H100.
Прочные отношения CoreWeave с Nvidia уже являются секретом полишинеля в Кремниевой долине. Этот вид хардкора коренится в непоколебимой лояльности CoreWeave и поддержке Nvidia — используйте только карты Nvidia, решительно не делайте ядра самостоятельно и помогайте Nvidia запасаться картами, когда видеокарту невозможно продать. Для Хуан Жэньсюня золотое содержание этих отношений намного превосходит пластиковую дружбу с Microsoft, Google и Tesla.
Поэтому, несмотря на нехватку Nvidia H100, Nvidia выделила CoreWeave большое количество новых карт и даже ограничила поставки крупным производителям, таким как Amazon и Google. Хуан Жэньсюнь похвалил во время телеконференции: «Появится новая группа поставщиков облачных услуг графических процессоров, самой известной из которых является CoreWeave. У них дела идут очень хорошо».
За неделю до того, как Си Цзиньпин привлек 2,3 миллиарда долларов, CoreWeave объявила, что потратит 1,6 миллиарда долларов на строительство центра обработки данных площадью 42 000 квадратных метров в Техасе. Только опираясь на отношения с Nvidia и права приоритетного распределения, CoreWeave может занять деньги у банка для строительства центра обработки данных — эта модель напоминает людям застройщиков, которые сразу же обращаются за банковскими кредитами после приобретения земли.
Таким образом, можно сказать, что нынешние обязательства по поставке H100 сравнимы с разрешением на получение земельного участка в золотой век недвижимости.
Трудно найти H100
В интервью в апреле этого года Маск пожаловался, что [2] : «Похоже, что теперь даже собаки покупают графические процессоры».
По иронии судьбы, Tesla выпустила свой чип D1 собственной разработки еще в 2021 году. Он был произведен TSMC и использовал 7-нм техпроцесс, утверждая, что он сможет заменить основной на тот момент A100 от Nvidia. Но спустя 2 года Nvidia выпустила более мощный H100, а у Tesla D1 нет последующей итерации.Поэтому, когда Маск попытался создать собственную компанию по искусственному интеллекту, ему все равно пришлось встать на колени перед дверью господина Хуана и попросить разрешения. .
H100 был официально представлен 20 сентября прошлого года и изготовлен по технологии TSMC 4N. По сравнению со своим предшественником A100, одна карта H100 повышает скорость вывода в 3,5 раза и скорость обучения в 2,3 раза.Если используется метод кластерных вычислений серверов, скорость обучения может быть увеличена до 9 раз.Первоначальная рабочая нагрузка составляет одну неделю. Сейчас это занимает всего 20 часов.
По сравнению с A100 цена одной карты H100 дороже, примерно в 1,5-2 раза, чем у A100, но эффективность обучения больших моделей выросла на 200%, поэтому «производительность на доллар» выше. . В сочетании с новейшим решением системы высокоскоростного подключения NVIDIA производительность графического процессора на доллар может быть в 4-5 раз выше, поэтому клиенты пользуются большим спросом.
Покупатели, спешащие купить H100, в основном делятся на три категории:
Первая категория — это гиганты комплексных облачных вычислений, такие как Microsoft Azure, Google GCP и Amazon AWS. Их особенностью является то, что они имеют глубокие карманы и хотят «прикрыть» производственные мощности Nvidia на каждом шагу. Однако у каждой компании есть и скрытые цели. Они недовольны почти монопольным положением Nvidia и тайно разрабатывают собственные чипы для снижения затрат.
Вторая категория — это независимые поставщики облачных услуг графических процессоров, типичные компании, такие как упомянутая выше CoreWeave, а также Lambda, RunPod и т. д. Компании этого типа имеют относительно небольшую вычислительную мощность, но могут предоставлять дифференцированные услуги. Nvidia также решительно поддерживает этот тип компаний и даже напрямую инвестирует в CoreWeave и Lambda. Цель очень ясна: предоставлять услуги тем гигантам, которые создают ядра. Закапайте глазные капли.
Третья категория — крупные и мелкие компании, которые сами обучают LLM (большая языковая модель). В их число входят такие стартапы, как Anthropic, Inflection и Midjourney, а также технологические гиганты, такие как Apple, Tesla и Meta. Обычно они используют вычислительные мощности внешних поставщиков облачных услуг, покупая собственные графические процессоры для создания собственных печей — те, у кого есть деньги, покупают больше, те, у кого денег нет, покупают меньше, а главная цель — позволить людям быть богатыми и бережливыми.
Среди этих трех типов клиентов Microsoft Azure имеет не менее 50 000 H100, Google — около 30 000, Oracle — около 20 000, а Tesla и Amazon — не менее 10 000. Сообщается, что CoreWeave имеет обязательство выпустить 35 000 копий (фактическая поставка составляет около 10 000). . Лишь немногие другие компании имеют более 10 000 билетов.
Сколько H100 в общей сложности нужно этим трем типам клиентов? По прогнозам зарубежной организации GPU Utils, текущий спрос на H100 составляет примерно 432 000. Среди них OpenAI нужно 50 000 листов для обучения GPT-5, Inflection — 22 000 листов, Meta — 25 000 листов (некоторые говорят, что 100 000 листов), а каждому из четырех крупнейших поставщиков общедоступных облаков нужно не менее 30 000 листов. другие производители небольших моделей также имеют спрос на 100 000 штук. [3] 。
Поставки Nvidia H100 в 2023 году составят около 500 000 единиц. В настоящее время производственные мощности TSMC продолжают расти. К концу года сложная ситуация с картами H100 будет облегчена.
Но в долгосрочной перспективе разрыв между спросом и предложением H100 будет продолжать увеличиваться с появлением приложений AIGC. Согласно отчету Financial Times, объем поставок H100 в 2024 году составит от 1,5 до 2 миллионов, что в 3-4 раза превышает 500 000 в этом году. [4] 。
Прогнозы Уолл-стрит еще более радикальны: американский инвестиционный банк Piper Sandler полагает, что выручка центров обработки данных Nvidia в следующем году превысит 60 миллиардов долларов США (2 квартал 24 финансового года: 10,32 миллиардов долларов США). миллион копий.
Есть и еще более преувеличенные оценки. Крупнейший производитель серверов H100 (с долей рынка 70–80%) поставляет серверы H100 с июня этого года, а в июле его производственные мощности продолжали увеличиваться. Недавнее исследование показывает, что литейный завод полагает, что объем поставок карт A+H в 2024 году составит от 4,5 до 5 миллионов штук.
Для Nvidia это означает «богатство и богатство», потому что степень огромных прибылей H100 невообразима для людей в других отраслях.
Видеокарта дороже золота
Чтобы выяснить, насколько прибыльен H100, мы могли бы полностью разобрать его спецификацию (BOM).
Как показано на рисунке, наиболее универсальная версия H100, H100 SXM, использует корпус TSMC CoWoS с 7 кристаллами.Шесть микросхем 16G HBM3 расположены в два ряда, близко окружающих среднюю логическую микросхему.
Это также три наиболее важные части H100: логический чип, чип памяти HBM и пакет CoWoS.Кроме того, есть также некоторые вспомогательные устройства, такие как печатные платы и другие вспомогательные устройства, но их ценность невелика.
Размер основного логического чипа составляет 814 мм^2, он производится на самом передовом заводе TSMC № 18 в Тайнане, а используемый технологический узел — «4N». Хотя название начинается с 4, на самом деле это 5 нм+. Из-за слабого развития 5-нм нисходящих областей, таких как мобильные телефоны, у TSMC нет проблем с обеспечением поставок логических чипов.
Этот логический чип изготавливается путем разрезания 12-дюймовой пластины (площадь 70 695 мм^2). В идеальных условиях можно вырезать 86 частей. Однако, учитывая 80%-ный выход продукции и потери при резке линии "4N", последний: Из 12-дюймовой пластины можно вырезать только 65 основных логических микросхем.
Сколько стоит этот основной логический чип? Внешнее предложение TSMC на 12-дюймовую пластину в 2023 году составляет 13 400 долларов США, поэтому в пересчете на одну пластину она будет стоить около 200 долларов США.
Следующими идут 6 чипов HBM3, которые в настоящее время эксклюзивно поставляются SK Hynix. Эта компания, которая возникла в сфере современной электроники, почти присоединилась к Micron в 2002 году. по технологии массового производства он опережает Micron как минимум на 3 года (Micron застрял на HBM2e, а Hynix будет выпускаться серийно в середине 2020 года).
Конкретная цена HBM держится в секрете каждой компанией, но, по данным корейских СМИ, в настоящее время HBM в 5-6 раз превышает стоимость существующих продуктов DRAM. Цена существующей видеопамяти GDDR6 составляет около 3 долларов США за ГБ, поэтому цена HBM оценивается примерно в 15 долларов США за ГБ. Этот H100 SXM стоит на HBM 1500 долларов.
Хотя цена на HBM в этом году продолжает расти, а руководители Nvidia и Meta также отправились в Hynix, чтобы «контролировать работу», HBM3 от Samsung будет постепенно производиться серийно и поставляться во второй половине года. из наследственной крови корейского дуэта, это должно быть. К следующему году HBM больше не будет узким местом.
Настоящим узким местом является упаковка CoWoS от TSMC, представляющая собой процесс упаковки 2.5D. По сравнению с 3D-упаковкой, в которой непосредственно пробивают отверстия (TSV) и проводку (RDL) на чипе, CoWoS может обеспечить лучшую стоимость, рассеивание тепла и пропускную способность. Первые два соответствуют HBM, а последние два являются ключом к графическому процессору.
Поэтому, если вам нужен чип с большой емкостью памяти и высокой вычислительной мощностью, CoWoS — единственное решение с точки зрения упаковки. Тот факт, что все четыре графических процессора от Nvidia и AMD используют CoWoS, является лучшим тому подтверждением.
Сколько стоит CoWoS? В финансовом отчете TSMC за 2022 год указано, что на процесс CoWoS приходится 7% от общего дохода, поэтому зарубежный аналитик Роберт Кастеллано подсчитал, исходя из производственных мощностей и размера кристалла, что упаковка ИИ-чипа может принести TSMC 723 доллара дохода. [6] 。
Следовательно, сумма трех приведенных выше крупнейших статей затрат составляет около 2500 долларов США, из них на долю TSMC приходится около 1000 долларов США (логический чип + CoWoS), на SK Hynix приходится 1500 долларов США (Samsung обязательно подключится в будущем) , а затем посчитайте печатные платы и другие материалы, общая стоимость материалов не превышает 3000 долларов США.
Сколько стоит H100? 35 000 долларов США, просто добавьте ноль, и валовая прибыль превысит 90%. За последние 10 лет валовая прибыль NVIDIA составляла около 60%.Теперь, благодаря высокой валовой прибыли A100/A800/H100, валовая прибыль NVIDIA достигла 70% во втором квартале этого года.
Это немного противоречит здравому смыслу: Nvidia во многом полагается на литейное производство TSMC, а статус последней непоколебим, и это даже единственное ключевое звено, которое может прилипнуть к шее Nvidia. Но за такую карту стоимостью 35 000 долларов компания TSMC, которая ее производит, может получить только 1000 долларов, и это всего лишь доход, а не прибыль.
Однако использование валовой прибыли для определения огромной прибыли не имеет особого смысла для компаний, производящих микросхемы. 12-дюймовая пластина, изготовленная по технологии 4N, продается TSMC всем желающим почти за 15 000 долларов США. NVIDIA, естественно, имеет свое ноу-хау в добавлении розничной цены для продажи ее клиентам.
Секрет трюка: Nvidia — это, по сути, компания-разработчик программного обеспечения, маскирующаяся под производителя оборудования.
Мягкий и твердый ров
Самое мощное оружие NVIDIA скрыто в валовой прибыли за вычетом чистой прибыли.
До этого витка бума искусственного интеллекта валовая прибыль Nvidia оставалась на уровне около 65% круглый год, в то время как ее чистая прибыль обычно составляла всего 30%. Во втором квартале этого года, благодаря высокой валовой прибыли A100/A800/H100, валовая прибыль составила 70%, а чистая прибыль достигла 45,81%.
В настоящее время в Nvidia работает более 20 000 сотрудников по всему миру, большинство из которых — высокооплачиваемые инженеры по программному и аппаратному обеспечению.По данным Glassdoor, средняя годовая зарплата на этих должностях в основном составляет более 200 000 долларов США в год.
За последние десять лет абсолютная стоимость расходов NVIDIA на НИОКР продолжала быстро расти, а уровень расходов на НИОКР также оставался на стабильном уровне выше 20%. Конечно, если спрос на терминалы резко возрастет в определенном году, например, на глубокое обучение в 2017 году, майнинг в 2021 году и большие языковые модели в этом году, знаменатель доходов внезапно вырастет, и уровень расходов на НИОКР ненадолго упадет до 20%. Соответственно, Прибыль также будет увеличиваться нелинейно.
Среди множества проектов, разработанных NVIDIA, наиболее важным, несомненно, является CUDA.
В 2003 году, чтобы решить проблему слишком высокого порога программирования DirectX, команда Яна Бака запустила модель программирования под названием Brook, которая также была прототипом того, что люди позже назвали CUDA. В 2006 году Бак присоединился к NVIDIA и убедил Дженсена Хуанга разработать CUDA. [8] 。
Поскольку CUDA поддерживает параллельные вычисления в среде языка C, она стала первым выбором инженеров, а графический процессор встал на путь процессоров общего назначения (GPGPU).
После постепенного развития CUDA Бак еще раз убедил Хуан Ренсюня, что все будущие графические процессоры NVIDIA должны поддерживать CUDA. Проект CUDA был основан в 2006 году, а продукт был запущен в 2007 году. .
Генеральный директор частной облачной компании как-то сказал в интервью, что они не думали о покупке карт AMD, но для отладки этих карт до нормальной работы потребуется не менее двух месяцев. [3] . Чтобы сократить эти два месяца, Nvidia вложила десятки миллиардов и понадобилось 20 лет.
Индустрия чипов переживала взлеты и падения на протяжении более полувека, и никогда не было такой компании, как Nvidia, которая продавала бы одновременно аппаратное обеспечение и экологию, или, как выразился Хуан Ренсюнь: «Она продает базовые системы». Таким образом, целью Nvidia действительно являются не мудрецы в области чипов, а Apple, еще одна компания, продающая системы.
От запуска CUDA в 2007 году до крупнейшей в мире фабрики по печати банкнот — у Nvidia есть конкуренты.
В 2008 году Intel, на тот момент король чиповой индустрии, прервала сотрудничество с Nvidia по проекту интегрированной графики и запустила собственный процессор общего назначения (GPCPU), намереваясь «нарисовать реку и доминировать» на рынке ПК. . Однако в последующих версиях продукта Nvidia настаивала на продвижении собственных процессоров в областях, требующих более мощной вычислительной мощности, таких как космос, финансы и биомедицина. отмените план независимой видеокарты.
В 2009 году команда разработчиков Apple запустила OpenCL, надеясь получить долю CUDA благодаря ее универсальности. Однако OpenCL значительно уступает CUDA в экологии глубокого обучения.Многие среды обучения либо поддерживают OpenCL после выпуска CUDA, либо не поддерживают OpenCL вообще. В результате отставание в глубоком обучении лишило OpenCL возможности использовать бизнес с более высокой добавленной стоимостью.
В 2015 году AlphaGo начала дебютировать в сфере го, заявив, что наступила эра искусственного интеллекта. В это время, чтобы догнать последний поезд, Intel поместила графический процессор AMD в собственный системный чип. Это первое сотрудничество между двумя компаниями с 1980-х годов. Но теперь совокупная рыночная стоимость лидера процессоров, второго дочернего + второго графического процессора, составляет лишь 1/4 от лидера графических процессоров Nvidia.
С нынешней точки зрения ров Nvidia практически непроницаем. Несмотря на то, что есть много крупных клиентов, которые тайно разрабатывают свои собственные графические процессоры, но с их огромной экосистемой и быстрыми итерациями, эти крупные клиенты не могут взломать трещины в империи, и Tesla является тому доказательством. Бизнес NVIDIA по производству печатных машин для денег продолжится в обозримом будущем.
Пожалуй, единственное место, где Хуан Жэньсюня преследуют темные тучи, — это место, где много клиентов и высокий спрос, но H100 невозможно продать, но люди стиснут зубы, чтобы решить эту проблему — в мире есть только одно место.
Использованная литература
[1] Кранчбейс
[2] «Все и их собаки покупают графические процессоры», — говорит Маск в подробностях стартапа по искусственному интеллекту
[3] Графические процессоры Nvidia H100: спрос и предложение на графические процессоры
[4] Дефицит цепочек поставок задерживает успех ИИ в технологическом секторе，FT
[5] Ограничения возможностей искусственного интеллекта — цепочка поставок CoWoS и HBM — ДИЛАН ПАТЕЛ, МАЙРОН СЕ И ДЖЕРАЛЬД ВОНГ, полуанализ
[6] Тайваньская компания Semiconductor: значительно недооценена как поставщик чипов и корпусов для Nvidia-Роберт Кастеллано, ищет альфу
[7] Чип Войны, Юй Шэн
[8] Что такое КУДА? Параллельное программирование для графических процессоров — Мартин Хеллер, InfoWorld
[9] Руководство пользователя NVIDIA DGX H100