HBM — це що? Це зроблено із золота? Чому воно таке дороге?

Універсальна табличка, яку Хуан Ренксюн тримав на сцені GTC, — це серце обчислювальної потужності сьогодні. Але мало хто знає: найдорожчий компонент на цій платі — це не сам GPU, а ті кілька непомітних маленьких чорних цеглинок поруч із GPU.

Рисунок 1: Подія GTC на місці, материнська плата GB300. Головний герой історії — саме на цій платі.

Це називається HBM — High Bandwidth Memory, пам’ять із високою пропускною здатністю.

Ця стаття розповідає: де вона знаходиться, як підключається, чому без неї ніяк, і як її виготовляють.

I. Спершу знайдемо її: куди зникла відеопам’ять

Спершу погляньмо на «знімок розтину» звичайної відеокарти. RTX 5090: GPU (GB202) у центрі, а навколо — ціле кільце чорних маленьких елементів: це 16 чипів GDDR7 для відеопам’яті. Вони живуть «за межами» GPU — відділені кількома сантиметрами доріжок на платі та «розмовляють» із GPU через електричні маршрути.

Рисунок 2: Реальна зйомка RTX 5090 PCB. Синя рамка — GPU, зелена рамка — 16 чипів GDDR7. Традиційне рішення: відеопам’ять зовні корпусу.

Тепер подивімося на AI-чип Blackwell. Відбувається дивна річ: пам’яті «за межами» немає жодної. Бо пам’ять перенесли всередину корпусу: піднімаєш металеву кришку — і з двох боків двох GPU die щільно, впритул до 8-стекової HBM, розміщуються. Відстань із кількох сантиметрів скорочується до кількох міліметрів.

Рисунок 3: Усередині корпусу Blackwell. Медна рамка — 8-стекова HBM3E, синя рамка — два GPU die. Відеопам’ять із «сусіда за дверима» перетворюється на «сусіда по кімнаті».

Це не просто переставити місця. Всередині GPU спеціально зробили 8 HBM-контролерів, щоб вони «спілкувалися»; 8 стеки HBM3E разом дають 288GB місткості та 8TB/с пропускної здатності — ці два числа і є життєвою артерією AI-чипа.

Рисунок 4: Офіційна архітектурна схема Blackwell Ultra. Зелена рамка — 8 HBM-контролерів, золота рамка — офіційні параметри: 288GB HBM3E, 8 стеків, до 8TB/s.

Наступне покоління Rubin буде встановлювати ще більше. Можна сказати так: HBM — це інша половина вартості AI-чипів (у собівартості).

Рисунок 5: Материнська плата Vera Rubin, два корпуси Rubin GPU (HBM4 — під кришкою).

II. Чому GPU «голодує»: кухар і склад

Щоб зрозуміти, чому існує HBM, спершу треба зрозуміти больові точки GPU. Якщо уявити GPU як кухаря, то відеопам’ять — це склад, а доріжки — канали подачі страв. За секунду цей кухар може приготувати десять тисяч страв — але якщо їжа не підвозиться, кухареві хоч три голови й шість рук, нічого не вдіє.

Рисунок 6: GPU = кухар, відеопам’ять = склад, доріжки = канали подачі страв. В епоху AI «страва» — це кілька сотень мільярдів параметрів моделей.

«Страва» великої AI-моделі — це кілька сотень мільярдів параметрів, і кожен обчислювальний крок потребує переміщення даних із відеопам’яті туди-сюди. Тому «козир» відеокарти змінюється: з «обчислює швидко» на «кормить швидко». Здатність «годувати» даними — це пропускна здатність.

III. Пропускна здатність має лише два шляхи: або швидше, або ширше

Дані рухаються доріжками за рахунок напруги: висока напруга — це 1, низька — це 0, і щосекунди перемикання триває десятки мільярдів разів. Щоб передавати швидше, є лише два способи.

Перший — підвищити частоту: щоб перемикання рівнів відбувалося швидше. GDDR7 уже настільки швидка, що перемикається 28 мільярдів разів на секунду на одну лінію. Але фізика починає брати плату: надто швидко — сигнал спотворюється, а сусідні доріжки «перемикають канали» одна одній, наче люди в ряд паралельно кричать один одному — чим швидше кричать, тим більше шуму, і зрештою ніхто не чує один одного.

Другий — збільшити ширину шини: не гнатися за швидкістю, а за обсягом — добудувати додаткові смуги.

Рисунок 7: GDDR7 — це 32 смуги-«вузькі доріжки», а HBM — швидкісна магістраль із 1024 смуг.

Це єдина формула в усьому тексті:

Рисунок 8: Пропускна здатність = частота × ширина шини. Швидкість однієї лінії, помножена на кількість ліній.

HBM обрала шлях «ширше»: 1024 лінії даних у одному стеку — у 32 рази більше, ніж в одній GDDR7. Одна GPU використовує 8 стеків — разом 8192 смуги. Кожна смуга повільніша у три рази — не страшно, бо смуг у тридцять два рази більше. Одна лінія у стеку дає 1.2TB/с, що відповідає передачі 300 фільмів за секунду.

IV. Драма з тридцятьма тисячами ліній

Звучить ідеально? Але для інженерів це справжня катастрофа. 1024 лінії даних — це лише початок, далі треба ще підвести лінії живлення, адресні лінії, тактові лінії — на один стек потрібно вивести майже 4000 ліній, а для восьми стеків це вже десятки тисяч — тридцять тисяч.

Що означають тридцять тисяч ліній? Увесь будинок у вас — всі проводи разом — не матиме такої кількості. І при цьому всі вони мають утиснутися в корпус розміром із банківську картку.

Рисунок 9: Кількість міжз’єднань у корпусі < кількість проводів у будинку. Проблема: куди прокладати ці лінії?

V. Межа друкованої плати: її основа — це тканина

Спершу подивімося, як традиційна плата «малює» лінії. Багато хто не знає: основа плати — це насправді тканина, тобто склотканина — просочена склотканина, залита епоксидною смолою і притиснута цілою мідною фольгою.

Тут провідники не «складають» по одному — їх наносять друком. За технологією: накладають світлочутливу плівку, засвічують світлом — промивають розчином, і мідні частини, які не були захищені, протравлюються, залишаючи провідники.

Але треба знати: межа цієї технології — десятки мікронів.

Рисунок 10: Склотканина + мідна фольга + фототравлення. Але межа цієї технології — ширина ліній у десятки мікронів — приблизно половина товщини людського волосся. Для тридцяти тисяч ліній це все ще надто товсто.

VI. Замінимо «папір»: кремнієвий інтерпозер

Але межа цієї технології — ширина ліній у десятки мікронів — приблизно половина товщини людського волосся. Для тридцяти тисяч ліній це все ще надто товсто, їх просто не вмістити.

Що робити? Замінити «папір» для малювання ліній — замість нього взяти кремній. На кремнієвій пластині можна малювати лінії за допомогою літографа (тому літографи так важливі): до менш ніж 1 мікрона — це одна сота товщини волосини. На тій самій площі можна вмістити в сотні разів більше провідників.

Цей кремній, спеціально призначений для розводки, називається кремнієвий інтерпозер (silicon interposer). На ньому розміщуються і GPU, і HBM: тридцять тисяч ліній усядуться саме в цю кремнієву пластину. Чипи не нашаровуються один на одного, але «сидять» на спільній кремнієвій підкладці — така форма пакування в індустрії називається 2.5D.

Рисунок 11: GPU і HBM розміщені поруч на кремнієвому інтерпозері, а внизу — надщільні, ніби волосина, літографічні маршрути. Це основа «сусідських відносин» із рисунка 3.

VII. Місткість: землі не вистачає — нарощуємо вгору

Проблему зі смугами вирішено, але є ще друге питання: місткість. У 5090 використовується 16 чипів 2GB GDDR7, тож разом лише 32GB; а один великий моделевий параметрний «об’єм» потребує сотні GB. Різниця — на порядок величини. Розкидати пласко? На інтерпозері просто не розмістити.

Як і у великих містах: коли землі не вистачає — будують вгору. Складають DRAM-чипи в будинок на 12 поверхів.

Рисунок 12: DRAM die шар за шаром укладаються, місткість зростає в рази. Але з’являється нова проблема: як «подавати воду й електрику» між верхніми та нижніми поверхами?

VIII. TSV: шахти ліфтів у будинку

Як у такій високій будівлі зв’язатися між поверхами? Відповідь — TSV (Through-Silicon Via, наскрізні отвори в кремнії): на кожному шарі чипів вертикально пробивають кілька тисяч «шахт»-отворів. Наскільки вони тонкі? Діаметр 5 мікронів — одна чотирнадцята товщини людського волосся. Такі тонкі отвори: у світі немає жодного свердла, яке здатне їх просвердлити — залишається лише «гризти» плазмою (aka хімічним реагентом).

Але плазма не слухняна: коли вона «гризе» вниз, вона також «гризе» в сторони — отвір роз’їдається до форми кульки. Рішення інженерів — технологія Bosch: три кроки по колу, можна запам’ятати як: гризти, чистити, вбивати (чергувати) —

1. Гризти (травлення): плазма «гризе» вниз маленьку ділянку;

2. Чистити/захистити: напилюють шар тефлону, ніби фарбують стінки шахти гідроізоляцією;

3. Вбивати/підривати (ударне опромінення): вертикальний «дощ» іонів розбиває лак на дні шахти, тож наступний цикл зможе знову лише «гризти» вниз.

4. Так повторюють знову і знову: гризти — наносити захисну плівку — пробивати наскрізь, шар за шаром, доки не досягнуть заданого місця

Рисунок 13: Гризти, чистити, вбивати — цикл повторюється сотні разів, і таким чином викопують рівну глибоку шахту. По стінці — концентричні «раковинні» рельєфи, це сліди від циклів.

Після того як шахту викопали: спершу осаджують із парової фази шар ізоляційної плівки, щоб розділити мідь і кремній, а потім всю пластину занурюють у розчин сульфату міді та електролітично напилюють/напрацьовують мідь, щоб заповнити шахти. Останній крок — зняти ззаду дев’ять десятих пластини так, щоб залишилося 30 мікронів — третина товщини аркуша для друку. Мідні стовпчики виступають ззаду: нарешті шар для зв’язку між «верхом» і «низом» підключено.

Рисунок 14: Тоншення з боку спини до 30 мікронів (праворуч: порівняння з товщиною аркуша для друку). Кожен шар чипів має пройти всю цю процедуру.

IX. Дві школи будівництва будинків

Тепер зварюємо 12 «плит» поверх один одного. Між шарами з’єднання роблять мікроскопічними кульками припою — кожна кулька менша за частинку пилку, на шарі їх кілька тисяч, і жодна не повинна «косити». Як варити і накладати — у індустрії є дві школи:

Після того як весь будинок зварений, його заливають епоксидною смолою — краще відводиться тепло, вища вихідність; один за одним наносять плівку з покриттям + стискають/пресують.

Рисунок 15: зліва — SK hynix: спершу зварили весь будинок, потім залили в одну «піч» епоксидним «бетоном» (MR-MUF); справа — Samsung/Micron: спершу розкладають шар клейової плівки, потім пресують шар «плит» (TC-NCF).

У hynix «бетон» проводить тепло помітно краще. Чим вищий будинок і чим більше тепла зосереджується, тим цінніша теплопровідність матеріалу між шарами. Саме через цю «піч» клею hynix перехопила великий контракт у NVIDIA та зайняла перше місце на ринку HBM.

X. Готовий виріб і рахунок, який вам доведеться сплатити

Склали дванадцять поверхів — один будинок це 36GB; вісім таких будинків огортають GPU, тож один чип — 288GB; чотири чипи на одну плату — 1152GB, понад 1TB — і ми знову опинилися на тій самій платі з рисунка 1, яку тримав Хуан Ренксюн.

Яка ціна? Щоб виготовити 1GB HBM, треба з’їсти близько 3GB виробничих потужностей кремнієвих пластин звичайної пам’яті: чипи HBM більші (TSV займає площу), вихід придатних виробів при складанні шарів множиться та зменшується зі знижкою, та ще й процеси споживають виробничі лінії. На всіх заводах світу зараз будують будинки для AI — звичайні модулі пам’яті залишаються без «харчів».

Рисунок 16: За однакових виробничих потужностей заводу 1GB HBM ≈ 3GB DDR5. Це повний механізм того, як виросла ціна пам’яті в цю хвилю.

Тож гроші, які ви платите більше за модуль пам’яті, по суті — це орендна плата, яку ви сплачуєте замість AI.