黄仁勋在 GTC 舞台上举起的这块板子,是当今算力的心脏。但很少有人知道:这块板子上最贵的零件,不是 GPU 本身,而是 GPU 身边那几块不起眼的小黑砖。
图1:GTC 现场,GB300 主板。故事的主角就在这块板子上。
它叫 HBM——High Bandwidth Memory,高带宽显存。
这篇文章告诉:它在哪、怎么连、为什么非它不可,以及它是怎么造出来的。
先看一张普通显卡的"解剖照"。RTX 5090,GPU(GB202)在正中间,四周围了整整一圈黑色小颗粒——那是 16 颗 GDDR7 显存。它们住在 GPU 的"门外",隔着几厘米的电路板走线和 GPU 对话。
图2:RTX 5090 PCB 实拍。蓝框是 GPU,绿框里是 16 颗 GDDR7——传统方案,显存在封装外面。
再看 AI 芯片 Blackwell。奇怪的事发生了:门外一颗显存都没有。因为显存搬进了封装内部——掀开金属盖板,两颗 GPU die 的两侧,紧贴着 8 栈 HBM,距离从几厘米缩短到几毫米。
图3:Blackwell 封装内部。铜框是 8 栈 HBM3E,蓝框是两颗 GPU die。显存从"门外邻居"变成了"同屋室友"。
这不是简单的挪位置。GPU 内部专门修了 8 个 HBM 控制器和它们对话;8 栈 HBM3E 合计 288GB 容量、每秒 8TB 带宽——这两个数字就是 AI 芯片的命脉。
图4:Blackwell Ultra 官方架构图。绿框是 8 个 HBM 控制器,金框是官方参数:288GB HBM3E,8 栈,最高 8TB/s。
下一代 Rubin 只会装得更多。可以这么说:HBM 已经 AI 芯片(成本)的另一半。
图5:Vera Rubin 主板,两颗 Rubin GPU 封装(HBM4 在盖板之下)。
要理解 HBM 为什么存在,先要理解 GPU 的痛点。如果我们把 GPU 想成一个厨师,显存是仓库,导线是传菜通道。这个厨师一秒能炒一万个菜——但如果菜运不进来,厨师就算有三头六臂也无可奈何。
图6:GPU=厨师,显存=仓库,导线=传菜通道。AI 时代,"菜"是几千亿个模型参数。
AI 大模型的"菜"是几千亿个参数,每算一步都要从显存搬进搬出。于是显卡的胜负手,从"算得多快"变成了"喂得多快"。喂数据的能力,就是带宽。
数据在导线上靠电压跑:电压高是 1,电压低是 0,一秒切换几十亿次。想传得更快,只有两个办法。
第一个办法是提频率——让电平切换得更快。GDDR7 已经快到一根线每秒切换 280 亿次。但物理定律开始收费:太快了信号会变形,相邻的导线还会互相"串台",就像一排人并排喊话,越喊越快,最后谁也听不清谁。
第二个办法是加位宽——不求快,求多,多修车道。
图7:GDDR7 是 32 条车道的小路,HBM 是 1024 条车道的高速公路。
这就是全文唯一的公式:
图8:带宽 = 频率 × 位宽。单线的速度,乘以线的数量。
HBM 选了"宽"这条路:单栈 1024 根数据线,是 GDDR7 单颗的 32 倍;一颗 GPU 配 8 栈,合计 8192 条车道。每条车道慢三倍无所谓——车道多了三十二倍。一栈每秒 1.2TB,相当于每秒钟传完 300 部电影。
听起来完美?但这对工程师来说就是一场灾难。1024 根数据线只是开始,还要配上供电线、地址线、时钟线——一栈要引出接近 4000 根,八栈就是三万根。
三万根什么概念?你家整栋楼里所有电线加起来,都没有这么多。而它们要全部挤进一块银行卡大小的封装里。
图9:一栋楼的电线 < 一块封装里的互连数量。问题来了:这些线往哪儿铺?
先看看传统电路板是怎么"画线"的。很多人不知道:电路板的底子,其实是一块布——玻璃纤维织出来的布,泡上环氧树脂,压上一整张铜箔。
在这里导线不是一根根拼上去的,而是印上去的。工艺上:贴上感光膜,用光一照、药水一洗,没被保护的铜的部分被腐蚀,留下来的就是导线部分。
但你要知道这套工艺的极限就是几十微米。
图10:玻纤布 + 铜箔 + 感光蚀刻。但这套工艺的极限是线宽几十微米——大约一根头发的一半,对三万根线来说还是太粗了。
但这套工艺的极限是线宽几十微米——大约一根头发的一半,对三万根线来说还是太粗了,根本放不下
怎么办?把画线的"纸"换掉——换成硅。在硅片上可以用光刻机画线(所以为啥光刻机这么重要了),细到 1 微米以下,头发丝的百分之一。同样的面积,能塞进上百倍的导线。
这片专门用来布线的硅,叫硅中介层(silicon interposer)。GPU 和 HBM 都坐在它上面,三万根线全部铺进这片硅里。芯片没有叠在一起,但共坐一片硅——这种封装形态,业界叫 2.5D。
图11:GPU 与 HBM 并排坐在硅中介层上,底下是密如发丝的光刻走线。这就是图3里"室友关系"的地基。
车道的问题解决了,还有第二个问题:容量。5090 用 16 颗 2GB 的 GDDR7,总共只有 32GB;而一个大模型光参数就要几百 GB,差了一个数量级。平铺?中介层上根本摆不下。
跟大城市的做法一样,地不够用,那就往天上盖——把 DRAM 芯片叠成一栋 12 层的楼。
图12:DRAM die 一层层摞起来,容量成倍增长。但新问题来了:楼上楼下,怎么通水电?
这么高的建筑,上下层之间该怎么通讯呢?答案叫 TSV(Through-Silicon Via,硅通孔):在每层芯片上垂直打穿几千口"电梯井"。井有多细?直径 5 微米,一根头发的十四分之一。这么细的孔,世界上没有任何钻头能钻,只能用等离子体(aka 化学药剂)去"啃"。
但等离子体不听话:往下啃的同时也往两边啃,孔会啃成一个球。工程师的解法叫 Bosch 工艺,三步循环,可以记成:啃、刷、砸——
啃(腐蚀):等离子体往下啃一小口;
刷(保护):喷一层特氟龙,像给井壁刷防水漆;
砸(轰击):垂直的离子雨把井底的漆砸开,让下一轮只能往下啃。
如此反复,一层层的啃-刷(保护膜)-打穿,直到到达指定位置
图13:啃、刷、砸,循环几百次,一口笔直的深井就挖好了。井壁上一圈圈的"扇贝纹",就是循环留下的齿印。
井挖好之后:先气相沉积一层绝缘膜把铜和硅隔开,再把整片晶圆泡进硫酸铜溶液里电镀,把井灌满铜。最后一步把晶圆从背面磨掉九成,只剩 30 微米,一张打印纸的三分之一。铜柱从背面露头:楼上楼下的通讯层终于通了。
图14:背面减薄到 30 微米(右侧:与打印纸的厚度对比)。每一层芯片都要走一遍这套流程。
现在把 12 层"楼板"焊起来。层与层之间用微小的焊球连接——每颗比一粒花粉还小,一层几千颗,一颗都不能歪。怎么焊和叠在,业界分成两派:
整栋焊接好后,用环氧树脂灌注 - 散热更好,良品率更好;一层一层的镀膜+压。
图15:左,SK 海力士——整栋焊好,再灌进一炉环氧"混凝土"(MR-MUF);右,三星/美光——铺一层胶膜、压一层楼板(TC-NCF)。
海力士那炉"混凝土"的导热明显更好。楼越高、热越集中,层间材料的导热就越值钱——就凭这一炉胶,海力士吃下了英伟达的大单,坐上 HBM 市场头把交椅。
十二层叠好,一栋楼 36GB;八栋楼围住 GPU,一颗芯片 288GB;四颗一块板,1152GB,超过 1TB——这就回到了图1里黄仁勋手上的那块板子。
代价呢?造 1GB 的 HBM,要吃掉约 3GB 普通内存的晶圆产能:HBM 的芯片更大(TSV 要占地)、堆叠良率会连乘打折、工序还占用产线。全世界的工厂都在给 AI 盖楼,普通内存条就断了粮。
图16:同等工厂产能,1GB HBM ≈ 3GB DDR5。这就是这一轮内存涨价的完整机制。
所以,你买内存条多花的钱,其实是在替 AI 交房租。
111.1萬 熱度
254.88萬 熱度
37.52萬 熱度
393.37萬 熱度
22.42萬 熱度
HBM 是什麼?是金子做的嗎?怎麼這麼貴?
黄仁勋在 GTC 舞台上举起的这块板子,是当今算力的心脏。但很少有人知道:这块板子上最贵的零件,不是 GPU 本身,而是 GPU 身边那几块不起眼的小黑砖。
图1:GTC 现场,GB300 主板。故事的主角就在这块板子上。
它叫 HBM——High Bandwidth Memory,高带宽显存。
这篇文章告诉:它在哪、怎么连、为什么非它不可,以及它是怎么造出来的。
一、先找到它:显存去哪了
先看一张普通显卡的"解剖照"。RTX 5090,GPU(GB202)在正中间,四周围了整整一圈黑色小颗粒——那是 16 颗 GDDR7 显存。它们住在 GPU 的"门外",隔着几厘米的电路板走线和 GPU 对话。
图2:RTX 5090 PCB 实拍。蓝框是 GPU,绿框里是 16 颗 GDDR7——传统方案,显存在封装外面。
再看 AI 芯片 Blackwell。奇怪的事发生了:门外一颗显存都没有。因为显存搬进了封装内部——掀开金属盖板,两颗 GPU die 的两侧,紧贴着 8 栈 HBM,距离从几厘米缩短到几毫米。
图3:Blackwell 封装内部。铜框是 8 栈 HBM3E,蓝框是两颗 GPU die。显存从"门外邻居"变成了"同屋室友"。
这不是简单的挪位置。GPU 内部专门修了 8 个 HBM 控制器和它们对话;8 栈 HBM3E 合计 288GB 容量、每秒 8TB 带宽——这两个数字就是 AI 芯片的命脉。
图4:Blackwell Ultra 官方架构图。绿框是 8 个 HBM 控制器,金框是官方参数:288GB HBM3E,8 栈,最高 8TB/s。
下一代 Rubin 只会装得更多。可以这么说:HBM 已经 AI 芯片(成本)的另一半。
图5:Vera Rubin 主板,两颗 Rubin GPU 封装(HBM4 在盖板之下)。
二、GPU 为什么"饿":厨师与仓库
要理解 HBM 为什么存在,先要理解 GPU 的痛点。如果我们把 GPU 想成一个厨师,显存是仓库,导线是传菜通道。这个厨师一秒能炒一万个菜——但如果菜运不进来,厨师就算有三头六臂也无可奈何。
图6:GPU=厨师,显存=仓库,导线=传菜通道。AI 时代,"菜"是几千亿个模型参数。
AI 大模型的"菜"是几千亿个参数,每算一步都要从显存搬进搬出。于是显卡的胜负手,从"算得多快"变成了"喂得多快"。喂数据的能力,就是带宽。
三、带宽只有两条路:更快,或者更宽
数据在导线上靠电压跑:电压高是 1,电压低是 0,一秒切换几十亿次。想传得更快,只有两个办法。
第一个办法是提频率——让电平切换得更快。GDDR7 已经快到一根线每秒切换 280 亿次。但物理定律开始收费:太快了信号会变形,相邻的导线还会互相"串台",就像一排人并排喊话,越喊越快,最后谁也听不清谁。
第二个办法是加位宽——不求快,求多,多修车道。
图7:GDDR7 是 32 条车道的小路,HBM 是 1024 条车道的高速公路。
这就是全文唯一的公式:
图8:带宽 = 频率 × 位宽。单线的速度,乘以线的数量。
HBM 选了"宽"这条路:单栈 1024 根数据线,是 GDDR7 单颗的 32 倍;一颗 GPU 配 8 栈,合计 8192 条车道。每条车道慢三倍无所谓——车道多了三十二倍。一栈每秒 1.2TB,相当于每秒钟传完 300 部电影。
四、三万根线的灾难
听起来完美?但这对工程师来说就是一场灾难。1024 根数据线只是开始,还要配上供电线、地址线、时钟线——一栈要引出接近 4000 根,八栈就是三万根。
三万根什么概念?你家整栋楼里所有电线加起来,都没有这么多。而它们要全部挤进一块银行卡大小的封装里。
图9:一栋楼的电线 < 一块封装里的互连数量。问题来了:这些线往哪儿铺?
五、电路板的极限:它的芯是一块布
先看看传统电路板是怎么"画线"的。很多人不知道:电路板的底子,其实是一块布——玻璃纤维织出来的布,泡上环氧树脂,压上一整张铜箔。
在这里导线不是一根根拼上去的,而是印上去的。工艺上:贴上感光膜,用光一照、药水一洗,没被保护的铜的部分被腐蚀,留下来的就是导线部分。
但你要知道这套工艺的极限就是几十微米。
图10:玻纤布 + 铜箔 + 感光蚀刻。但这套工艺的极限是线宽几十微米——大约一根头发的一半,对三万根线来说还是太粗了。
六、换一张"纸":硅中介层
但这套工艺的极限是线宽几十微米——大约一根头发的一半,对三万根线来说还是太粗了,根本放不下
怎么办?把画线的"纸"换掉——换成硅。在硅片上可以用光刻机画线(所以为啥光刻机这么重要了),细到 1 微米以下,头发丝的百分之一。同样的面积,能塞进上百倍的导线。
这片专门用来布线的硅,叫硅中介层(silicon interposer)。GPU 和 HBM 都坐在它上面,三万根线全部铺进这片硅里。芯片没有叠在一起,但共坐一片硅——这种封装形态,业界叫 2.5D。
图11:GPU 与 HBM 并排坐在硅中介层上,底下是密如发丝的光刻走线。这就是图3里"室友关系"的地基。
七、容量:地不够,往天上盖
车道的问题解决了,还有第二个问题:容量。5090 用 16 颗 2GB 的 GDDR7,总共只有 32GB;而一个大模型光参数就要几百 GB,差了一个数量级。平铺?中介层上根本摆不下。
跟大城市的做法一样,地不够用,那就往天上盖——把 DRAM 芯片叠成一栋 12 层的楼。
图12:DRAM die 一层层摞起来,容量成倍增长。但新问题来了:楼上楼下,怎么通水电?
八、TSV:楼里的电梯井
这么高的建筑,上下层之间该怎么通讯呢?答案叫 TSV(Through-Silicon Via,硅通孔):在每层芯片上垂直打穿几千口"电梯井"。井有多细?直径 5 微米,一根头发的十四分之一。这么细的孔,世界上没有任何钻头能钻,只能用等离子体(aka 化学药剂)去"啃"。
但等离子体不听话:往下啃的同时也往两边啃,孔会啃成一个球。工程师的解法叫 Bosch 工艺,三步循环,可以记成:啃、刷、砸——
啃(腐蚀):等离子体往下啃一小口;
刷(保护):喷一层特氟龙,像给井壁刷防水漆;
砸(轰击):垂直的离子雨把井底的漆砸开,让下一轮只能往下啃。
如此反复,一层层的啃-刷(保护膜)-打穿,直到到达指定位置
图13:啃、刷、砸,循环几百次,一口笔直的深井就挖好了。井壁上一圈圈的"扇贝纹",就是循环留下的齿印。
井挖好之后:先气相沉积一层绝缘膜把铜和硅隔开,再把整片晶圆泡进硫酸铜溶液里电镀,把井灌满铜。最后一步把晶圆从背面磨掉九成,只剩 30 微米,一张打印纸的三分之一。铜柱从背面露头:楼上楼下的通讯层终于通了。
图14:背面减薄到 30 微米(右侧:与打印纸的厚度对比)。每一层芯片都要走一遍这套流程。
九、盖楼的两大门派
现在把 12 层"楼板"焊起来。层与层之间用微小的焊球连接——每颗比一粒花粉还小,一层几千颗,一颗都不能歪。怎么焊和叠在,业界分成两派:
整栋焊接好后,用环氧树脂灌注 - 散热更好,良品率更好;一层一层的镀膜+压。
图15:左,SK 海力士——整栋焊好,再灌进一炉环氧"混凝土"(MR-MUF);右,三星/美光——铺一层胶膜、压一层楼板(TC-NCF)。
海力士那炉"混凝土"的导热明显更好。楼越高、热越集中,层间材料的导热就越值钱——就凭这一炉胶,海力士吃下了英伟达的大单,坐上 HBM 市场头把交椅。
十、成品,与你要付的账单
十二层叠好,一栋楼 36GB;八栋楼围住 GPU,一颗芯片 288GB;四颗一块板,1152GB,超过 1TB——这就回到了图1里黄仁勋手上的那块板子。
代价呢?造 1GB 的 HBM,要吃掉约 3GB 普通内存的晶圆产能:HBM 的芯片更大(TSV 要占地)、堆叠良率会连乘打折、工序还占用产线。全世界的工厂都在给 AI 盖楼,普通内存条就断了粮。
图16:同等工厂产能,1GB HBM ≈ 3GB DDR5。这就是这一轮内存涨价的完整机制。
所以,你买内存条多花的钱,其实是在替 AI 交房租。