HBM, c’est quoi ? C’est fait d’or ? Pourquoi c’est aussi cher ?

Sur scène lors du GTC, cette plaque que tient Huang Renxun est le cœur de la puissance de calcul d’aujourd’hui. Mais peu de gens savent que le composant le plus cher sur cette plaque n’est pas le GPU lui-même, mais plutôt ces petites briques noires discrètes, à côté du GPU.

Figure 1 : Sur site au GTC, carte mère GB300. Le protagoniste de l’histoire se trouve sur cette carte.

Elle s’appelle HBM — High Bandwidth Memory, une mémoire à bande passante élevée.

Cet article explique : où elle se trouve, comment elle est connectée, pourquoi elle est indispensable, et comment elle est fabriquée.

I. D’abord la trouver : où est passée la mémoire

Commencez par une « radiographie » d’une carte graphique classique. RTX 5090 : au centre, le GPU (GB202), et tout autour une rangée complète de petites particules noires — ce sont 16 puces de mémoire GDDR7. Elles se trouvent « dehors », là où la mémoire discute avec le GPU à travers, à quelques centimètres, les pistes du circuit imprimé.

Figure 2 : Photo réelle du PCB du RTX 5090. Le cadre bleu est le GPU, le cadre vert contient 16 GDDR7 — une solution traditionnelle : la mémoire est à l’extérieur du boîtier.

Regardez maintenant le processeur d’IA Blackwell. Chose étrange : aucune mémoire n’est « dehors ». La mémoire a migré à l’intérieur du boîtier — en soulevant le couvercle métallique : les deux côtés de deux dies de GPU, collés contre 8 piles de HBM, et la distance passe de quelques centimètres à quelques millimètres.

Figure 3 : À l’intérieur du boîtier Blackwell. Le cadre en cuivre est 8 piles de HBM3E, le cadre bleu est constitué de deux dies de GPU. La mémoire passe de « voisin dehors » à « colocataire dans la même pièce ».

Ce n’est pas un simple changement d’emplacement. À l’intérieur du GPU, on a prévu 8 contrôleurs HBM dédiés pour dialoguer avec eux : au total, 8 piles de HBM3E équivalent à 288GB de capacité, avec une bande passante de 8TB/s — et ces deux chiffres sont l’artère vitale des puces d’IA.

Figure 4 : Schéma d’architecture officiel Blackwell Ultra. Le cadre vert indique 8 contrôleurs HBM, le cadre doré donne les paramètres officiels : 288GB de HBM3E, 8 piles, jusqu’à 8TB/s.

La prochaine génération Rubin en mettra encore plus. On peut dire que la HBM représente déjà la moitié (en coût) des puces d’IA.

Figure 5 : Carte mère Vera Rubin, deux boîtiers de GPU Rubin (HBM4 sous le capot).

II. Pourquoi le GPU a « faim » : le chef et l’entrepôt

Pour comprendre pourquoi la HBM existe, il faut d’abord comprendre les douleurs du GPU. Si l’on imagine le GPU comme un chef, la mémoire vidéo est l’entrepôt et les pistes sont le couloir pour acheminer les plats. En une seconde, ce chef peut faire frire un million de plats — mais si les plats n’arrivent pas, même avec trois têtes et six bras, il n’a rien à faire.

Figure 6 : GPU = chef, mémoire = entrepôt, pistes = couloir de service. À l’ère de l’IA, les « plats » sont des centaines de milliards de paramètres de modèles.

Les « plats » d’un grand modèle d’IA, ce sont des centaines de milliards de paramètres : à chaque étape de calcul, il faut les faire entrer et sortir de la mémoire. Ainsi, le facteur décisif du duel de cartes graphiques change : de « calculer plus vite » vers « nourrir plus vite ». La capacité à « nourrir » les données, c’est la bande passante.

III. Deux voies seulement pour la bande passante : plus vite, ou plus large

Les données circulent sur les pistes grâce à la tension : tension haute = 1, tension basse = 0, et on change des dizaines de milliards de fois par seconde. Pour transmettre plus vite, il n’y a que deux solutions.

La première consiste à augmenter la fréquence — faire basculer les niveaux plus rapidement. La GDDR7 est déjà à un point tel qu’une seule ligne change 28 milliards de fois par seconde. Mais les lois de la physique commencent à facturer : trop rapide, le signal se déforme, et les pistes voisines se « parasitent », comme une rangée de personnes qui crient en même temps : plus on crie vite, plus personne n’entend correctement les autres.

La deuxième consiste à augmenter la largeur de voie — pas chercher la vitesse, mais en avoir beaucoup, comme multiplier les voies pour les voitures.

Figure 7 : GDDR7 = un petit réseau de 32 voies, HBM = une autoroute de 1024 voies.

C’est la seule formule de tout l’article :

Figure 8 : Bande passante = fréquence × largeur de voie. La vitesse d’une voie, multipliée par le nombre de voies.

La HBM a choisi la voie « large » : une pile de 1024 lignes de données, soit 32 fois une seule puce GDDR7 ; une puce de GPU est équipée de 8 piles, soit un total de 8192 voies. Chaque voie est trois fois plus lente, peu importe : le nombre de voies est 32 fois plus grand. Une pile atteint 1,2TB par seconde, soit l’équivalent de transmettre 300 films en une seconde.

IV. La catastrophe des 30 000 lignes

Ça a l’air parfait ? Mais pour les ingénieurs, c’est un désastre. Les 1024 lignes de données ne sont que le début : il faut aussi les lignes d’alimentation, d’adressage, d’horloge — une pile doit faire sortir près de 4000 lignes, et 8 piles, environ 30 000.

30 000 lignes, c’est quoi ? Même en additionnant tous les câbles de toute la maison, vous n’obtiendrez pas ce nombre. Et il faut tout faire tenir dans un boîtier de la taille d’une carte bancaire.

Figure 9 : Câbles d’un immeuble < nombre d’interconnexions dans un boîtier. Problème : où poser toutes ces lignes ?

V. La limite du circuit imprimé : son « cœur » est un tissu

D’abord, regardez comment un circuit imprimé classique « trace » des pistes. Beaucoup de gens l’ignorent : la base du circuit imprimé est en réalité un tissu — un tissu en fibre de verre — imprégné de résine époxy, puis pressé avec une feuille de cuivre entière.

Ici, les pistes ne sont pas assemblées une par une : elles sont imprimées. Côté procédé : on colle un film photosensible, puis on l’expose à la lumière, on le lave dans un bain chimique ; les parties de cuivre non protégées sont attaquées, et ce qui reste forme les pistes.

Mais cette technique a une limite : quelques dizaines de microns.

Figure 10 : Fibre de verre + cuivre + gravure chimique photosensible. La limite de ce procédé, c’est une largeur de ligne de quelques dizaines de microns — environ la moitié d’un cheveu ; pour 30 000 lignes, c’est encore trop épais.

VI. Changer de « papier » : interposeur en silicium

Mais cette technique plafonne à des largeurs de ligne de quelques dizaines de microns — environ la moitié d’un cheveu — pour 30 000 lignes, c’est trop gros, et ça ne rentre tout simplement pas.

Que faire ? Remplacer le « papier » sur lequel on trace — passer au silicium. Sur un wafer de silicium, on peut tracer des pistes avec une machine de lithographie (d’où l’importance de la lithographie), jusqu’à moins de 1 micron, soit un pour cent de l’épaisseur d’un cheveu. À surface égale, on peut y insérer cent fois plus de pistes.

Ce silicium dédié au routage s’appelle l’interposeur en silicium (silicon interposer). Le GPU et la HBM s’y installent tous les deux : les 30 000 lignes sont entièrement réparties dans cette couche de silicium. Les puces ne sont pas superposées entre elles, mais elles « cohabitent » sur la même plaque : dans l’industrie, on appelle cette forme d’emballage 2.5D.

Figure 11 : GPU et HBM disposés côte à côte sur l’interposeur en silicium, en dessous des pistes lithographiées denses comme des fils de cheveux. C’est la fondation de la « relation de colocataires » mentionnée dans la figure 3.

VII. Capacité : le sol ne suffit pas, alors on monte vers le ciel

Une fois le problème des voies résolu, il y a un deuxième problème : la capacité. Le 5090 utilise 16 puces de 2GB de GDDR7, au total seulement 32GB ; et pour un grand modèle, rien que les paramètres de modèle demandent plusieurs centaines de GB, soit un ordre de grandeur de plus. Les poser à plat ? L’interposeur n’y arriverait pas.

Comme dans les grandes villes : si le sol manque, on monte — on empile des puces DRAM comme un immeuble de 12 étages.

Figure 12 : Les dies de DRAM sont empilés étage par étage, la capacité augmente par multiples. Mais un nouveau problème apparaît : comment fait-on circuler l’eau et l’électricité entre les étages ?

VIII. TSV : cages d’ascenseur dans l’immeuble

Avec un bâtiment aussi haut, comment la communication se fait-elle entre les étages ? La réponse s’appelle TSV (Through-Silicon Via, via traversante dans le silicium) : on perce verticalement, à travers chaque couche de puces, des milliers de « cages d’ascenseur ». De quel diamètre ? 5 microns, soit environ un quatorzième d’un cheveu. Avec un trou aussi fin, aucun foret au monde ne peut le percer : il faut « grignoter » le silicium avec un plasma (aka des produits chimiques).

Mais le plasma n’est pas docile : en grignotant vers le bas, il grignote aussi sur les côtés, et le trou finit par se transformer en sphère. La solution des ingénieurs, c’est le procédé Bosch : une boucle en trois étapes, à retenir comme : grignoter, nettoyer, casser —

1. Grignoter (érosion) : le plasma attaque un petit peu en profondeur ;

2. Nettoyer (protection) : pulvériser une couche de téflon, comme enduire les parois de peinture d’étanchéité ;

3. Casser (impact) : une pluie d’ions verticale fait sauter la peinture au fond, forçant le cycle suivant à grignoter uniquement vers le bas.

4. Répéter ainsi, couche par couche : grignoter, protéger (film), percer, jusqu’à atteindre la position spécifiée

Figure 13 : Après plusieurs centaines de cycles de grignoter, protéger, casser, un puits profond bien droit est creusé. Les stries en spirale sur la paroi du puits sont les marques de dent laissées par les cycles.

Quand le puits est prêt : d’abord, on dépose une couche d’isolant par dépôt en phase vapeur pour isoler le cuivre et le silicium ; puis on plonge tout le wafer dans une solution de sulfate de cuivre et on électro-dépose pour remplir le puits de cuivre. Enfin, on amincit le wafer en frottant l’arrière jusqu’à ne plus garder que 30 microns, soit environ un tiers d’une feuille imprimée. Les colonnes de cuivre ressortent de l’arrière : la couche de communication entre étages est enfin connectée.

Figure 14 : amincissement arrière à 30 microns (à droite : comparaison avec l’épaisseur d’une feuille imprimée). Chaque couche de puces passe par tout ce processus.

IX. Deux écoles pour construire l’immeuble

Maintenant, on soude les « dalles » sur 12 étages. Entre les couches, on utilise des micro-billes de soudure : plus petites qu’un grain de pollen, par couche il y en a des milliers, et aucune ne doit être de travers. Pour savoir comment souder et empiler, l’industrie se divise en deux camps :

Après avoir soudé tout l’ensemble, on remplit avec une résine époxy — meilleure dissipation thermique, meilleurs taux de rendement ; ou bien une méthode couche par couche avec dépôt de film + pressage.

Figure 15 : à gauche, SK Hynix — tout est soudé d’un bloc, puis on coule dans une « marmite » d’époxy/ciment (MR-MUF) ; à droite, Samsung/Micron — on étale une couche de film adhésif, puis on presse une couche de dalles (TC-NCF).

La « bouillie de ciment » de Hynix conduit clairement mieux la chaleur. Plus l’immeuble est haut, plus la chaleur est concentrée : la conductivité du matériau entre les couches devient de plus en plus précieuse. Rien que grâce à cette colle, Hynix a décroché de gros contrats chez NVIDIA et s’est assise en tête du marché de la HBM.

X. Le produit fini et la facture que vous devrez payer

On empile 12 étages : un immeuble fait 36GB ; on entoure le GPU avec 8 immeubles, soit 288GB sur une puce ; 4 puces sur une carte, 1152GB, soit plus de 1TB — et on retombe sur la même plaque que celle tenue par Huang Renxun dans la figure 1.

Et le coût ? Pour fabriquer 1GB de HBM, il faut mobiliser environ la capacité de production en wafers de 3GB de mémoire classique : les puces HBM sont plus grandes (les TSV prennent de la surface), les rendements en empilement se multiplient et se réduisent, et le procédé occupe aussi des lignes de production. Dans le monde entier, les usines construisent des immeubles pour l’IA, et du coup les barrettes de mémoire classiques manquent de ressources.

Figure 16 : pour une capacité de production équivalente, 1GB HBM ≈ 3GB DDR5. C’est le mécanisme complet de la hausse des prix de la mémoire lors de cette vague.

Donc, l’argent supplémentaire que vous payez pour une barrette de mémoire, vous le donnez en réalité à l’IA pour le loyer de son nouveau logement.