HBM 是 o quê? É feito de ouro? Porque é tão caro?

黄仁勳在 GTC 舞台上举起的這塊板子，是當今算力的心臟。但很少有人知道：這塊板子上最貴的零件，不是 GPU 本身，而是 GPU 身邊那幾塊不起眼的小黑磚。

Figura 1: GTC no local, placa-mãe GB300. A estrela da história está mesmo nesta placa.

Chama-se HBM — High Bandwidth Memory, memória de alta largura de banda.

Este artigo explica: onde fica, como se liga, por que razão é indispensável e como é fabricada.

1. Primeiro, encontre-a: para onde foi a memória

Vejamos primeiro uma “radiografia anatómica” de uma placa gráfica comum. RTX 5090, GPU (GB202) ao centro; à volta, um círculo inteiro de pequenos grãos pretos — 16 chips de memória GDDR7. Eles ficam “fora” da GPU, conversando com a GPU através das poucas dezenas de centímetros de ligações e trilhas da placa.

Figura 2: foto real do PCB da RTX 5090. Moldura azul é a GPU; moldura verde são as 16 GDDR7 — solução tradicional, em que a memória fica fora do encapsulamento.

Agora vejamos o chip de IA Blackwell. Acontece algo estranho: não há nenhuma memória “fora”. Porque a memória foi levada para dentro do encapsulamento — ao abrir a tampa metálica, nas duas laterais dos dois dies da GPU, fica colada a 8 pilhas de HBM; a distância, de alguns centímetros, passa a alguns milímetros.

Figura 3: interior do encapsulamento Blackwell. A moldura de cobre é as 8 pilhas de HBM3E; a moldura azul são os dois dies de GPU. A memória deixa de ser “vizinha lá fora” e passa a ser “companheira de casa”.

Isto não é apenas reposicionar. Lá dentro, a GPU foi desenhada com 8 controladores de HBM dedicados e com quem comunica diretamente; 8 pilhas de HBM3E somam 288GB de capacidade e 8TB/s de largura de banda — estes dois números são a respiração da IA.

Figura 4: diagrama oficial de arquitetura do Blackwell Ultra. Moldura verde são os 8 controladores de HBM; moldura dourada são os parâmetros oficiais: 288GB de HBM3E, 8 pilhas, até 8TB/s.

O próximo Rubin só vai colocar ainda mais. Pode-se dizer assim: a HBM já é metade do “custo” dos chips de IA.

Figura 5: placa-mãe Vera Rubin, dois encapsulamentos de GPU Rubin (HBM4 por baixo da tampa).

2. Por que motivo a GPU “fica com fome”: chef e armazém

Para perceber por que existe HBM, é preciso primeiro entender as dores da GPU. Se imaginarmos a GPU como um chef, a memória é o armazém e os cabos são o corredor para levar a comida. Este chef consegue saltear dez mil pratos por segundo — mas se a comida não chegar ao armazém, por mais que tenha três cabeças e seis braços, não consegue fazer nada.

Figura 6: GPU = chef; memória = armazém; cabos = corredor de servir. Na era da IA, “a comida” são centenas de milhares de milhões de parâmetros de modelos.

A “comida” de um grande modelo de IA são centenas de milhares de milhões de parâmetros; e em cada passo de cálculo, eles precisam de ser transferidos da memória para fora e de volta. Assim, o “trunfo” das placas gráficas deixa de ser “calcular mais rápido” e passa a ser “alimentar mais rápido”. A capacidade de “alimentar” é a largura de banda.

3. A largura de banda só tem dois caminhos: mais rápido, ou mais largo

Os dados passam nos cabos por tensão: tensão alta é 1, tensão baixa é 0, e a comutação acontece dezenas de milhares de milhões de vezes por segundo. Para transmitir mais depressa, há apenas dois métodos.

O primeiro é aumentar a frequência — fazer com que os níveis comutem mais rapidamente. A GDDR7 já está tão rápida que uma única linha alterna 28 mil milhões de vezes por segundo. Mas a física começa a cobrar: demasiado rápido deforma o sinal, e as trilhas adjacentes interferem umas com as outras (“cross-talk”), como uma fila de pessoas a falar em paralelo; quanto mais alto e mais rápido, mais ninguém se ouve.

O segundo é aumentar a largura de via — não tanto pela rapidez, mas pelo número de vias.

Figura 7: GDDR7 é uma estrada de 32 vias pequenas; HBM é uma autoestrada com 1024 vias.

Este é o único “fórmula” do artigo todo:

Figura 8: largura de banda = frequência × largura de via. A velocidade de uma via, multiplicada pelo número de vias.

A HBM escolheu o caminho “mais largo”: uma pilha com 1024 linhas de dados, 32 vezes mais do que uma GDDR7. Uma GPU com 8 pilhas totaliza 8192 vias. Cada via pode ser três vezes mais lenta, mas o número de vias é 32 vezes maior. Uma pilha a 1,2TB/s equivale a transmitir 300 filmes por segundo.

4. O desastre das trinta mil linhas

Parece perfeito? Mas para os engenheiros, isto é um desastre. As 1024 linhas de dados são apenas o começo: ainda é preciso linhas de alimentação, linhas de endereçamento e linhas de clock. Para uma pilha, é preciso puxar perto de 4000 linhas; e com 8 pilhas, são quase 30 mil.

O que significa “30 mil” linhas? É mais do que a soma de todos os cabos elétricos de uma casa inteira. E elas precisam de caber todas num encapsulamento do tamanho de um cartão de banco.

Figura 9: cabos de um prédio < quantidade de ligações num encapsulamento. Surge a questão: onde é que se espalham essas linhas?

5. O limite da placa: a “tinta” é um pedaço de tecido

Antes de mais, vejamos como a placa de circuito tradicional “desenha” as linhas. Muita gente não sabe: a base da placa não é “pasta”; é um pedaço de tecido — tecido de fibra de vidro, impregnado com resina epóxi e prensado sobre uma folha de cobre.

Aqui, os fios não são montados um por um; são impressos. Em termos de processo: coloca-se um filme fotorresistente, expõe-se à luz; depois, com um banho em solução química, as partes de cobre não protegidas são corroídas, e o que resta é o traço das linhas.

Mas a chave é: o limite deste processo é de dezenas de micrómetros.

Figura 10: tecido de fibra de vidro + folha de cobre + corrosão fotogravada. Mas o limite é a largura das linhas em dezenas de micrómetros — cerca de metade do diâmetro de um fio de cabelo; para 30 mil linhas, ainda é demasiado espesso.

6. Trocar a “folha” por outra: camada intermédia de silício

Mas o limite deste processo é a largura das linhas em dezenas de micrómetros — cerca de metade do fio de cabelo; para 30 mil linhas é demasiado grosso e não cabe.

O que fazer? Trocar a “folha” onde se desenha o circuito — por silício. Em pastilhas de silício, é possível usar litografia para desenhar linhas (por isso a litografia é tão importante), até menos de 1 micrómetro: um por cento do diâmetro do fio de cabelo. Com a mesma área, dá para inserir centenas de vezes mais linhas.

Este silício usado especificamente para interligação chama-se silicon interposer (interposer de silício). GPU e HBM assentam sobre ele, e as 30 mil linhas são distribuídas por esta camada de silício. Os chips não ficam empilhados uns sobre os outros, mas “sentam-se” na mesma camada de silício — esta forma de encapsulamento é chamada 2.5D no setor.

Figura 11: GPU e HBM lado a lado no silicon interposer; por baixo, trilhos de litografia tão densos quanto fios de cabelo. Esta é a base da “relação de companheiros” mostrada na Figura 3.

7. Capacidade: falta espaço no chão, então constrói para o céu

Resolvido o problema das “vias”. Resta outro: a capacidade. O 5090 usa 16 chips de 2GB de GDDR7, totalizando apenas 32GB; enquanto num grande modelo, a quantidade de parâmetros de “dados do modelo” já precisa de centenas de GB — uma ordem de grandeza acima. Espalhar pela área toda? No interposer, não cabe.

É como nas grandes cidades: como falta “terreno”, constrói-se para cima — transformando os chips de DRAM num edifício de 12 andares.

Figura 12: os dies de DRAM empilhados em camadas; a capacidade cresce em múltiplos. Mas surge um novo problema: entre andares, como é que se passa água e eletricidade?

8. TSV: poços de elevador no edifício

Com um edifício tão alto, como é que se comunica entre andares? A resposta chama-se TSV (Through-Silicon Via, via através do silício): perfuram-se verticalmente, em cada camada de chip, milhares de “poços” de elevador. Quão finos são? Diâmetro de 5 micrómetros, cerca de um catorze avos de um fio de cabelo. Tão fino que nenhum berbequim consegue furar; só dá para “comer” com plasma (aka agentes químicos).

Mas o plasma não “ouve”: ao furar para baixo, também ataca pelos lados, e o poço acaba por se “comer” até ficar esférico. A solução dos engenheiros chama-se processo Bosch: um ciclo em três passos, que pode ser memorizado como “comer, limpar, bater”—

1. Comer (corrosão): o plasma “come” uma pequena porção para baixo;

2. Limpar (proteção): pulveriza-se uma camada de teflon, como dar tinta impermeabilizante às paredes do poço;

3. Bater (bombardeamento): a chuva de iões vertical “choca” e remove a tinta no fundo do poço, forçando o próximo ciclo a “comer” apenas para baixo.

4. Repetir assim, camada após camada, até perfurar até à posição especificada

Figura 13: “comer, limpar, bater” em ciclos por centenas de vezes; assim o poço profundo e reto fica escavado. As marcas em anéis na parede do poço são as “pegadas” deixadas por cada ciclo.

Depois de abrir o poço: primeiro deposita-se por deposição em fase de vapor uma camada de isolamento para separar cobre e silício; em seguida, o wafer é mergulhado num banho de sulfato de cobre para eletrodeposição, e o poço é preenchido com cobre. Por fim, o wafer é afinado por trás até remover cerca de 90%, ficando com 30 micrómetros — cerca de um terço do que seria uma folha de papel. Os pilares de cobre emergem pela parte traseira: a camada de comunicação entre andares finalmente está ligada.

Figura 14: afinamento da parte de trás até 30 micrómetros (à direita: comparação com a espessura de uma folha de papel). Cada camada de chips passa por todo este processo.

9. Duas escolas para “levantar o edifício”

Agora, solda-se os 12 “pisos”. Entre camadas, usam-se microesferas de solda para as ligações — cada uma menor do que uma partícula de pólen; a camada tem milhares de microesferas, e nenhuma pode ficar torta. Quanto a como soldar e empilhar, o setor divide-se em dois grupos:

Depois de o edifício inteiro estar soldado, injecta-se resina epóxi para melhor dissipação de calor e melhor taxa de rendimento; e aplica-se camadas de revestimento camada a camada + prensagem.

Figura 15: à esquerda, SK Hynix — edifício soldado primeiro, depois injecta uma “mistura de epóxi/concreto” (MR-MUF); à direita, Samsung/Micron — deposita-se uma película de cola, pressiona-se uma camada de “laje” (TC-NCF).

O “concreto” de uma caldeira da Hynix tem claramente melhor condutividade térmica. Quanto mais alto o edifício e mais concentrado o calor, mais valiosa se torna a condutividade térmica do material entre camadas. Só por causa desta caldeira de cola, a Hynix ganhou a grande encomenda da Nvidia e sentou no trono da quota de mercado de HBM.

10. Produto final: a conta que vais pagar

Empilham-se 12 camadas, e um “edifício” tem 36GB; oito edifícios rodeiam a GPU, totalizando 288GB por chip; quatro chips numa mesma placa, 1152GB, mais de 1TB — e voltamos à placa da Figura 1, a que a Jensen Huang ergueu.

E o custo? Para fabricar 1GB de HBM, é preciso consumir cerca de 3GB de capacidade de produção de wafers de memória comum: os chips de HBM são maiores (TSV precisa de área), a taxa de empilhamento de rendimento multiplica-se e é descontada em cascata, e ainda há etapas adicionais que ocupam a linha de produção. Em todo o mundo, as fábricas estão a construir “edifícios para a IA”, e as memórias normais acabam por ficar sem matéria-prima.

Figura 16: com a mesma capacidade de produção de fábricas, 1GB de HBM ≈ 3GB de DDR5. É este o mecanismo completo por trás do aumento de preço desta ronda de memória.

Por isso, o dinheiro extra que pagas por módulos de memória, na verdade, estás a pagar a renda do alojamento para a IA.