HBM — это что? Это из золота сделано? Почему оно стоит так дорого?

На сцене GTC Чжэньжэньсюнь держит эту плату — сердце современных вычислительных мощностей. Но мало кто знает: самый дорогой компонент на этой плате — не сама по себе GPU, а несколько незаметных маленьких чёрных “кирпичиков” рядом с GPU.

Рисунок 1: Сцена GTC, материнская плата GB300. Главный герой истории — прямо на этой плате.

Её называют HBM — High Bandwidth Memory, память с высокой пропускной способностью.

Эта статья рассказывает, где она стоит, как подключается, почему без неё никак и как её производят.

I. Сначала найти её: куда делась видеопамять

Сначала посмотрите на “анатомический снимок” обычной видеокарты. RTX 5090: GPU (GB202) в центре, а вокруг целое кольцо чёрных мелких элементов — 16 чипов GDDR7 видеопамяти. Они живут “снаружи” GPU: через несколько сантиметров трасс на печатной плате и соединяются с GPU.

Рисунок 2: Фото RTX 5090 PCB. Синий блок — GPU, зелёный блок — 16 чипов GDDR7 — традиционное решение, когда видеопамять находится снаружи корпуса.

Теперь взглянем на AI-чип Blackwell. Происходит странное: “памяти снаружи” нет вообще. Причина в том, что видеопамять переехала внутрь корпуса: откройте металлическую крышку, и две стороны двух GPU die оказываются вплотную к 8 стекам HBM — дистанция сокращается с сантиметров до миллиметров.

Рисунок 3: Внутренности корпуса Blackwell. Медный блок — 8-стековый HBM3E, синий блок — две GPU die. Видеопамять из “соседа снаружи” становится “соседом по комнате”.

Это не просто перенос местоположения. Внутри GPU специально предусмотрены 8 HBM-контроллеров, и они “разговаривают” с памятью: суммарная ёмкость 288GB у HBM3E (8 стеков) и пропускная способность до 8TB/s. Эти два числа и есть “жизненно важные органы” AI-чипа.

Рисунок 4: Официальная архитектурная схема Blackwell Ultra. Зелёный блок — 8 HBM-контроллеров, золотой блок — официальные параметры: 288GB HBM3E, 8 стеков, максимум 8TB/s.

Следующее поколение Rubin будет ставить ещё больше. Можно сказать так: HBM — это уже половина стоимости AI-чипа.

Рисунок 5: Материнская плата Vera Rubin, два корпуса Rubin GPU (HBM4 находится под крышкой).

II. Почему GPU “голодает”: повар и склад

Чтобы понять, зачем существует HBM, сначала нужно понять боль GPU. Если представить GPU как повара, то видеопамять — это склад, а дорожки — кухонные каналы подачи. Повар за секунду может “жарить” десять тысяч блюд — но если блюда не подвозят на место, даже три головы и шесть рук не помогут.

Рисунок 6: GPU = повар, видеопамять = склад, дорожки = канал подачи. В AI-эпоху “блюда” — это миллиарды параметров моделей.

“Блюда” в больших AI-моделях — это сотни миллиардов параметров, и на каждом шаге вычислений данные нужно постоянно переносить из памяти и обратно. Поэтому решающая сила видеокарты изменилась: с “как быстро считает” на “как быстро кормит”. Умение “кормить” данными — это и есть пропускная способность.

III. Пропускная способность: только два пути — быстрее или шире

Данные по дорожкам бегут за счёт напряжения: высокое напряжение — это 1, низкое — это 0, и переключения происходят десятки миллиардов раз в секунду. Передавать быстрее можно только двумя способами.

Первый — поднять частоту: переключать уровни быстрее. GDDR7 уже настолько быстрая, что одна линия переключается 280 миллиардов раз в секунду. Но физика начинает выставлять счёт: слишком высокая скорость искажает сигнал, а соседние дорожки начинают “мешать друг другу” — как если бы люди в ряд кричали одновременно: чем быстрее и громче, тем хуже слышно. В итоге не понять, что сказал кто-то конкретный.

Второй — увеличить разрядность: не гнаться за скоростью, а гнаться за количеством — добавить “полосы”.

Рисунок 7: GDDR7 — это 32 “полосы”, а HBM — 1024 “полосы”, скоростное шоссе.

Это единственная формула во всём материале:

Рисунок 8: Пропускная способность = частота × ширина. Скорость одной линии умножается на число линий.

HBM выбрал путь “шире”: один стек — 1024 линии данных, это в 32 раза больше, чем у одной GDDR7. На одну GPU приходится 8 стеков, итого 8192 линии. Неплохо, если каждая линия медленнее в три раза: зато линий стало в 32 раза больше. На одном стеке 1.2TB за секунду — это примерно столько, как если бы вы за секунду “переслали” 300 фильмов.

IV. Беда 30 тысяч линий

Звучит идеально? Но для инженеров это настоящая катастрофа. 1024 линии данных — это только начало. Нужно ещё всё, что их сопровождает: линии питания, адресные линии, тактовые линии. На один стек всё вместе нужно вывести почти 4000 линий, а на восемь стеков — уже десятки тысяч.

Что значит “десятки тысяч”? Суммарное количество проводов во всём вашем доме, скорее всего, не дотянет до этого. И всё это нужно уместить в корпус размером с банковскую карту.

Рисунок 9: Количество межсоединений на уровне “проводов в здании” меньше, чем число соединений внутри одного корпуса. Вопрос: куда прокладывать все эти линии?

V. Лимит печатной платы: её “сердце” — это ткань

Сначала посмотрите, как традиционные печатные платы “рисуют линии”. Многие не знают: основа печатной платы — это по сути ткань. Стеклоткань, пропитанная эпоксидной смолой, а сверху прижимается целый лист медной фольги.

Здесь дорожки не собирают по одной — их печатают. Технология: приклеивают фоторезист, светом его “засвечивают”, затем проявляют в растворе — незащищённые участки меди протравливаются, и остаётся нужный рисунок дорожек.

Но важное — предел этой технологии: десятки микронов.

Рисунок 10: Стеклоткань + медная фольга + фоторезистное травление. Но предел — ширина линий порядка десятков микрон: примерно половина толщины человеческого волоса. Для 30 тысяч линий это всё равно слишком крупно.

VI. Поменять “бумагу”: silicon interposer

Что делать, если предел по ширине линий уже десятки микрон и для 30 тысяч линий этого недостаточно, потому что просто не влезает?

Нужно заменить “бумагу” для разметки — вместо неё взять кремний. На кремниевой пластине можно рисовать линии фотолитографией (поэтому фотолитография так важна): точность — меньше 1 микрометра, то есть в разы тоньше, чем волос (в сотни раз). На той же площади можно уместить в сотни раз больше проводников.

Этот кремний, специально предназначенный для трассировки, называется silicon interposer (силиконовый интерпозер). На нём сидят и GPU, и HBM: все 30 тысяч линий раскладываются внутри этой кремниевой подложки. Чипы не складываются друг на друга, но “живут” на одной и той же кремниевой плоскости. В отрасли такую форму упаковки называют 2.5D.

Рисунок 11: GPU и HBM расположены рядом на silicon interposer, а снизу — трассировка настолько плотная, что выглядит как “волосяная”. Это фундамент “соседских отношений” из Рисунка 3.

VII. Ёмкость: земли мало — строим вверх

Проблема с “полосами” решается, но появляется второй вопрос: ёмкость. У 5090 используется 16 чипов 2GB GDDR7 — всего 32GB. А параметры одного большого AI-моделя требуют сотни GB: разница на порядок. “Разложить по поверхности”? На интерпозере просто не хватает места.

Как в больших городах: если земли мало — строят вверх. То есть DRAM-чипы укладывают стопкой, делая “здание” из 12 слоёв.

Рисунок 12: DRAM die складываются слой за слоем — ёмкость растёт кратно. Но появляется новая проблема: как “проводить воду и электричество” между этажами?

VIII. TSV: лифтовые шахты в здании

Как же обеспечить связь между этажами в таком высоком здании? Ответ — TSV (Through-Silicon Via, сквозные кремниевые переходы): на каждой кремниевой пластине вертикально пробивают несколько тысяч “лифтовых шахт”. Насколько они тонкие? Диаметр 5 микрометров — примерно одна четырнадцатая толщины волоса. Такой тонкий проход не просверлить обычным сверлом: остаётся только “грызть” стенки плазмой (ака химическими реагентами).

Но плазма ведёт себя непослушно: пока она “грызёт” вниз, она также “грызёт” по сторонам, и отверстие превращается в шар. Решение инженеров — процесс Bosch: три шага по кругу, можно запомнить как “грызем — чистим/защищаем — пробиваем”:

1. Грызть (травление): плазма немного “съедает” материал вниз;

2. Защищать: распыляют слой тефлона, как защитный гидроизоляционный слой на стенках шахты;

3. Бить (бомбардировка): направленный поток вертикальных ионов “выбивает” защитную плёнку на дне, и следующая итерация будет снова “грызть” только вниз.

4. Так повторяют, пока не будет достигнуто нужное положение: слой за слоем — грызть, защищать (плёнка), пробивать.

Рисунок 13: “Грызть — защищать — бить” повторяют сотни раз, и глубокий ровный проход готов. Следы на стенках — концентрические “ракушки” — это зубчатые отпечатки от циклов.

После того как шахты вырыты: сначала осаждают слой изолятора газофазным способом, чтобы отделить медь и кремний, затем всю пластину помещают в раствор с сульфатом меди и электролитическим осаждением заполняют шахты медью. Последний шаг — истончить пластину со стороны тыльной поверхности: снять около 90%, оставив примерно 30 микрометров — треть толщины листа бумаги. Медные столбики выходят на тыльную сторону: связь между этажами наконец налажена.

Рисунок 14: Утолщение на тыльной стороне уменьшено до 30 микрометров (справа: сравнение с толщиной печатной бумаги). Для каждого слоя чипов нужно пройти через этот же процесс.

IX. Две школы “строительства здания”

Теперь собираем “здание” из 12 слоёв. Между слоями используют микроскопические паяные шарики — каждый шарик меньше одной пылинки, на слой их может приходиться тысячи, и ни один не должен сместиться. Как именно паять и укладывать — в индустрии делят на две школы:

После того как всё здание собрано и пропаяно, его заливают эпоксидной смолой — это улучшает теплоотвод и повышает выход годных; либо другой подход — поэтапно наносить покрытие на каждый слой и затем прессовать.

Рисунок 15: слева SK Hynix — сначала всё залипает/пропаивается “целиком”, затем заливают “партией” эпоксидного “бетона” (MR-MUF); справа Samsung/ Micron — сначала кладут слой клеевой плёнки, затем прижимают слой “плиты” (TC-NCF).

У “бетона” Hynix теплопроводность заметно лучше. Чем выше здание, тем более концентрирована тепловая нагрузка, тем ценнее становится теплопроводность межслойного материала. Именно благодаря этой партии клея Hynix забрала крупный контракт у NVIDIA и заняла место №1 на рынке HBM.

X. Готовый продукт и счёт, который вам выставят

Сложите 12 слоёв в стопку — и получится “здание” на 36GB. Вокруг GPU ставят 8 таких “зданий”, и один чип даёт 288GB. Четыре чипа на одну плату — 1152GB, то есть больше 1TB. И вот мы снова там же: в той самой плате из Рисунка 1, которую держит Чжэньжэньсюнь.

Цена? Чтобы сделать HBM на 1GB, нужно “съесть” производственные мощности кристаллов для обычной памяти примерно на 3GB: чипы HBM больше (TSV занимает площадь), выход годных при укладке по слоям перемножается и становится ниже, плюс сами процессы дополнительно занимают производственные линии. Весь мир заводов сейчас строит “здания” для AI — обычные модули памяти остаются без сырья.

Рисунок 16: При равной производственной мощности заводов 1GB HBM ≈ 3GB DDR5. Это полная механика подорожания памяти в этой волне.

Поэтому деньги, которые вы доплачиваете за модули памяти, по сути вы отдаёте AI в качестве аренды жилья.