HBM itu apa? Dibuat dari emas? Kenapa begitu mahal?

黄仁勋 di panggung GTC mengangkat papan ini adalah jantung dari komputasi saat ini. Tapi sangat sedikit orang yang tahu: komponen paling mahal pada papan ini bukan GPU itu sendiri, melainkan beberapa keping kecil hitam yang tampak tidak penting di sekitar GPU.

图1：GTC现场，GB300 主板。tokoh utama ceritanya ada di papan ini.

Namanya HBM—High Bandwidth Memory, memori dengan bandwidth tinggi.

Artikel ini menjelaskan: di mana letaknya, cara terhubungnya, mengapa ia mutlak diperlukan, dan bagaimana ia dibuat.

一、先找到它：显存去哪了

Mulai dari cara menemukannya: ke mana perginya memori video (VRAM)

Lihat dulu “foto rontgen” dari kartu grafis biasa. RTX 5090, GPU (GB202) berada di tengah, dan di sekelilingnya ada satu lingkaran penuh partikel kecil hitam—itu 16 chip GDDR7 VRAM. Chip-chip itu berada “di luar” GPU, terpisah beberapa sentimeter oleh jalur sirkuit di PCB untuk berkomunikasi dengan GPU.

图2：RTX 5090 PCB 实拍。kotak biru adalah GPU, kotak hijau berisi 16 GDDR7—skema tradisional, VRAM berada di luar kemasan.

Lalu lihat AI chip Blackwell. Kejadiannya aneh: tidak ada satu pun chip VRAM “di luar”. Alasannya, VRAM dipindahkan ke bagian dalam kemasan—angkat pelat penutup logam, dua sisi dari dua die GPU berdampingan rapat dengan 8 tumpuk HBM, sehingga jaraknya dari beberapa sentimeter turun menjadi beberapa milimeter.

图3：Blackwell 封装内部。bingkai tembaga adalah 8 tumpuk HBM3E, bingkai biru adalah dua die GPU. VRAM yang tadinya “tetangga luar” berubah menjadi “teman sekamar”.

Ini bukan sekadar memindahkan posisi. Di dalam GPU, secara khusus dibuat 8 pengontrol HBM untuk berkomunikasi dengannya; total kapasitas 288GB dari 8 tumpuk HBM3E dan bandwidth 8TB per detik—dua angka ini adalah nadi dari chip AI.

图4：图5? Blackwell Ultra 官方架构图。kotak hijau adalah 8 pengontrol HBM, bingkai emas adalah parameter resmi: 288GB HBM3E, 8 tumpuk, hingga 8TB/s.

Generasi penerus Rubin hanya akan dipasang lebih banyak lagi. Bisa dibilang: HBM sudah menjadi separuh “biaya” dari chip AI.

图5：Vera Rubin 主板, dua kemasan Rubin GPU (HBM4 berada di bawah penutup).

二、GPU 为什么“饿”：厨师与仓库

Untuk memahami mengapa HBM ada, pertama-tama pahami pain point GPU. Kalau GPU kita anggap sebagai koki, maka memori video adalah gudang, dan jalur adalah lorong pengantar masakan. Koki ini bisa menumis sepuluh ribu masakan dalam satu detik—tapi kalau bahan masakan tidak bisa masuk, koki itu seberapa pun punya tiga kepala enam tangan tetap tidak bisa apa-apa.

图6：GPU=koki,显存=gudang,导线=lorong pengantar. Di era AI, “bahan” adalah beberapa ratus miliar parameter model.

Makanan dari large model AI adalah beberapa ratus miliar parameter. Setiap kali menghitung satu langkah, semuanya harus dipindah-bawa dari memori. Jadi kartu grafis menang bukan lagi karena “seberapa cepat bisa menghitung”, melainkan “seberapa cepat bisa menyuapi data”. Kemampuan “memberi makan” itu adalah bandwidth.

三、带宽只有两条路：更快，或者更宽

Data bergerak di jalur berdasarkan tegangan: tegangan tinggi = 1, tegangan rendah = 0, lalu dalam satu detik berganti puluhan miliar kali. Untuk mengirim lebih cepat, hanya ada dua cara.

Cara pertama: menaikkan frekuensi—membuat pergantian level tegangan lebih cepat. GDDR7 sudah sangat cepat, bisa mengganti 280 miliar kali per detik pada satu jalur. Tapi hukum fisika mulai “menagih”: kalau terlalu cepat, sinyal akan terdistorsi, sementara jalur berdekatan saling mengganggu—seperti sebaris orang yang berteriak berdampingan; makin cepat dan makin keras, akhirnya tak ada yang terdengar jelas.

Cara kedua: menambah lebar jalur—tidak mengejar kecepatan, melainkan jumlah. Memperbanyak “jalur” untuk kendaraan.

图7：GDDR7 adalah 32 jalur—jalan kecil; HBM adalah 1024 jalur—tol raya.

Inilah satu-satunya rumus di seluruh artikel:

图8：带宽 = 频率 × 位宽. Kecepatan satu jalur dikalikan jumlah jalurnya.

HBM memilih jalan “lebar”: satu tumpuk memiliki 1024 jalur data, yaitu 32 kali lebih besar daripada satu chip GDDR7; satu GPU dipasangkan dengan 8 tumpuk, totalnya 8192 jalur. Setiap jalur boleh tiga kali lebih lambat—yang penting jumlah jalurnya 32 kali. Satu tumpuk menghasilkan 1,2TB per detik, setara dengan mengirim 300 film dalam satu detik.

四、三万根线的灾难

Kedengarannya sempurna? Tapi bagi para insinyur, ini bencana. 1024 jalur data hanyalah awal; masih harus menyertakan jalur catu daya, jalur alamat, jalur clock—dalam satu tumpuk saja harus ditarik mendekati 4000 jalur, dan delapan tumpuk berarti sekitar 30 ribu jalur.

30 ribu jalur itu seberapa banyak? Jika dijumlahkan semua kabel di satu gedung rumah, tidak akan sebanyak itu. Dan semuanya harus dimasukkan ke dalam kemasan berukuran kartu bank.

图9：kabel di satu gedung < jumlah interkoneksi dalam satu kemasan. Masalahnya: kabel-kabel ini harus diletakkan di mana?

五、电路板的极限：它的芯是一块布

Mari lihat dulu bagaimana papan sirkuit tradisional “menggambar” jalur. Banyak orang tidak tahu: basis PCB sebenarnya adalah selembar kain—kain yang ditenun dari fiberglass, lalu direndam resin epoksi, dan ditekan dengan lembaran tembaga.

Di sini, jalur tidak dipasang satu per satu seperti merangkai kabel. Jalur dicetak. Secara proses: pasang film sensitif cahaya, lalu disinari dengan cahaya, dicuci dengan larutan. Bagian tembaga yang tidak terlindungi akan terkorosi, dan yang tersisa menjadi jalur.

Tapi batas proses ini hanya puluhan mikron.

图10：kain fiberglass + foil tembaga + etsa foto. Tapi batas prosesnya adalah lebar jalur puluhan mikron—kira-kira setengah dari sehelai rambut. Untuk 30 ribu jalur, itu masih terlalu tebal.

六、换一张"纸"：硅中介层

Kalau batas proses itu puluhan mikron—kira-kira setengah rambut—itu terlalu tebal dan jelas tidak muat.

Solusinya: ganti “kertas” untuk menggambar jalur—ganti menjadi silikon. Pada wafer silikon, garis bisa dibuat pakai mesin litografi (maka pentingnya mesin litografi), sampai detail di bawah 1 mikron—sekitar 1% dari ketebalan rambut. Dengan luas yang sama, bisa memuat ratusan kali lebih banyak jalur.

Silikon khusus untuk pengkabelan ini disebut silicon interposer. GPU dan HBM duduk di atasnya, dan semua 30 ribu jalur dirapikan di dalam silikon ini. Chip tidak ditumpuk berlapis, tetapi duduk bersama di satu lembar silikon. Bentuk kemasan seperti ini di industri disebut 2.5D.

图11：GPU dan HBM disusun berdampingan di silicon interposer, bagian bawahnya berisi jalur litografi yang rapat seperti rambut. Ini adalah fondasi “hubungan teman sekamar” di图3.

七、容量：地不够，往天上盖

Masalah jalur selesai, tapi ada masalah kedua: kapasitas. 5090 memakai 16 chip 2GB GDDR7, total hanya 32GB; sementara parameter model besar saja butuh ratusan GB. Ada selisih satu orde besaran. Menyebar di area tengah? Di interposer, itu tidak mungkin.

Seperti cara kota besar memecahkan masalah lahan: kalau tanah tidak cukup, bangun ke atas—menumpuk chip DRAM menjadi gedung setinggi 12 lantai.

图12：DRAM die ditumpuk berlapis-lapis, kapasitas naik berkali-kali. Tapi masalah baru muncul: bagaimana mengalirkan “air dan listrik” dari lantai atas ke bawah?

八、TSV：楼里的电梯井

Kalau bangunan setinggi itu, bagaimana komunikasi antarlantai? Jawabannya disebut TSV (Through-Silicon Via, lubang tembus silikon): pada tiap lapisan chip dibuat lubang vertikal menembus ribuan “shaft lift”. Seberapa halus lubangnya? Diameter 5 mikron—seperempat belas dari ketebalan rambut. Lubang setipis itu tidak bisa dibor pakai bor mana pun; hanya bisa “dikerok/digali” memakai plasma (aka bahan kimia).

Tapi plasma tidak patuh: saat mengikis ke bawah, ia juga mengikis ke samping, sehingga lubang terikis jadi bentuk bola. Solusi insinyur disebut proses Bosch: siklus tiga langkah, bisa diingat sebagai: mengikis, menyapu, lalu menghantam—

1. mengikis (korosi): plasma mengikis sedikit ke bawah;

2. menyapu (perlindungan): semprot lapisan teflon, seperti mengecat dinding lubang dengan cat anti bocor;

3. menghantam (penembakan): ion rain vertikal menghantam membuka cat di dasar lubang, sehingga putaran berikutnya hanya bisa mengikis ke bawah.

4. Ulangi berkali-kali—mengikis, menyapu (lapisan pelindung), sampai menembus ke posisi yang ditargetkan.

图13：mengikis, menyapu, menghantam—siklus ratusan kali—hingga terbentuk satu “sumur” dalam yang lurus. Pola seperti “kerang” di dinding lubang adalah bekas gigi dari siklus yang tertinggal.

Setelah lubang digali: pertama, deposit fase uap menambahkan lapisan isolator untuk memisahkan tembaga dan silikon, lalu wafer dimasukkan ke dalam larutan tembaga sulfat untuk elektroplating hingga lubang terisi tembaga. Langkah terakhir: gerinda bagian belakang wafer hingga menghilangkan 90% ketebalan, menyisakan 30 mikron—sekitar sepertiga dari ketebalan kertas cetak. Kolom tembaga muncul dari bagian belakang: layer komunikasi dari lantai atas dan bawah akhirnya terhubung.

图14：penipisan belakang menjadi 30 mikron (di sebelah kanan: perbandingan dengan ketebalan kertas cetak). Setiap lapisan chip harus menjalani rangkaian proses ini.

九、盖楼的两大门派

Sekarang pasang 12 lapis “lantai gedung”. Antar-lantai dihubungkan dengan bola solder mikro—seukuran butir serbuk sari; dalam satu lapis ada ribuan, dan tidak boleh ada yang melenceng. Dalam cara menyolder dan menumpuknya, industri terbagi jadi dua kubu:

Setelah seluruh gedung tersolder, dituangkan epoxy resin—pendinginan lebih baik, yield lebih baik; lapisan demi lapisan juga diproses dengan pelapisan dan penekanan.

图15：kiri, SK hynix—setelah seluruhnya disolder, lalu dituangkan satu tungku “beton” epoxy (MR-MUF); kanan, Samsung/Micron—pasang satu lapis film perekat, lalu tekan satu lapis lantai (TC-NCF).

Konduktivitas termal dari “beton” HyK明显 lebih baik. Makin tinggi gedung, panas makin terkonsentrasi—konduktivitas termal material antarlapis makin berharga. Dengan hanya satu tungku perekat itu, Hynix mengamankan pesanan besar dari NVIDIA, lalu duduk di kursi terdepan pasar HBM.

十、成品，与你要付的账单

Tumpuk 12 lapis, satu gedung 36GB; delapan gedung mengelilingi GPU, sehingga satu chip 288GB; empat chip dalam satu papan, total 1152GB—lebih dari 1TB—ini kembali ke papan yang diangkat Huang Renxun di图1.

Lalu biayanya? Untuk membuat 1GB HBM, dibutuhkan sekitar 3GB kapasitas wafer memori biasa: chip HBM lebih besar (TSV memakan area), yield penumpukan dikalikan lalu didiskon, dan prosesnya juga memakai lini produksi. Semua pabrik di dunia sedang membangun gedung untuk AI, sehingga modul memori biasa kehabisan pasokan.

图16：dengan kapasitas produksi pabrik yang sama, 1GB HBM ≈ 3GB DDR5. Inilah mekanisme lengkap kenaikan harga memori di putaran ini.

Jadi, uang ekstra yang kamu keluarkan untuk membeli modul memori sebenarnya adalah untuk membayar “sewa kos” AI.