Le dernier épisode d'All In Podcast : ce que les grands pontes pensent de Micron, du goulot d'étranglement du stockage, des modèles open-source chinois et de l'inférence distribuée

Cet épisode d'All In Podcast est très dense en informations. J'ai sélectionné quelques sujets qui me semblent les plus intéressants à partager.
Commençons par la ligne des modèles open-source chinois. Les progrès sont plus rapides que prévu.
Zhipu AI a publié la nouvelle génération de modèle open-source de classe Frontier, GLM 5.2, avec 744 milliards de paramètres et un contexte de 100 000 tokens, entièrement sous licence MIT. Les résultats des benchmarks sont impressionnants : il bat GPT-5.5 dans le test de programmation logicielle, et n'est qu'à moins de 1 % du modèle le plus avancé d'Anthropic, Claude Opus 4.8, mais le prix de l'API est 85 % moins cher que celui des modèles américains de performances équivalentes.
Un détail intéressant dans l'émission : une méthode utilisée par les équipes chinoises pour accélérer leur progression. Elles utilisent des milliers de téléphones portables et d'iPads pour former une ferme d'appareils, en envoyant des requêtes à haute densité via des comptes cryptés aux API des meilleurs modèles de pointe américains, récoltant ainsi leurs chaînes de raisonnement pour les nourrir à leurs propres modèles open-source lors de l'entraînement par renforcement. Cela revient à utiliser les "réponses standards" des laboratoires américains, obtenues à grands frais, comme des antisèches pour atteindre des performances proches à moindre coût.
Sacks a un point de vue assez acerbe à ce sujet. Il critique Dario d'Anthropic pour avoir poussé le gouvernement américain à mettre en place des processus de sécurité compliqués, ce qui a en réalité ralenti le rythme américain. Le modèle Fable a été retiré suite à des accusations de "jailbreak", et l'approbation des nouveaux modèles d'OpenAI est très difficile. Son diagnostic : actuellement, la technologie chinoise a environ 9 mois de retard, et environ 24 mois de retard dans les puces, mais la famille GLM5 a déjà été entièrement entraînée avec des puces locales comme les Huawei Ascend. À l'avenir, ces "boîtes d'IA" optimisées pour les puces locales, bon marché et performantes, pourraient être vendues à bas prix sur le marché mondial. Pendant ce temps, les États-Unis s'imposent toutes sortes de restrictions, ce qui leur fait perdre ce marché d'exportation de plusieurs billions de dollars.
Concernant les résultats de Micron, l'émission donne un diagnostic précis : la DRAM est le véritable goulot d'étranglement de toute la vague de l'IA.
Le chiffre d'affaires de Micron ce trimestre a quadruplé par rapport à l'année précédente, passant de 90 milliards à 420 milliards, les prévisions dépassant largement les attentes. La capacité de production de HBM pour 2026 est déjà entièrement vendue.
Un point de vue assez direct dans l'émission : auparavant, les gens cherchaient toutes sortes de petites entreprises japonaises de composants comme "actions de goulot d'étranglement", mais le véritable nerf de la guerre n'est que la DRAM, surtout la HBM. La raison est simple : la bande passante et la capacité de la mémoire déterminent le plafond physique des performances d'inférence de tous les grands modèles. C'est une contrainte dure, impossible à contourner. Il est même mentionné que la méga-usine en construction par Musk a pour noyau technique la DRAM, et non la fibre optique, l'alimentation ou la mémoire flash NAND.
Micron a également apporté un changement intéressant dans son modèle économique : il a signé des accords de fourniture à long terme avec les principaux fournisseurs de cloud, avec des "prix plancher et plafond", garantissant 50 % des revenus futurs. Cela signifie que même en cas de baisse du cycle industriel, le prix minimum contractuel sera supérieur au pic de marge brute de tout cycle précédent.
En ce qui concerne les barrières à l'entrée, bien que la société chinoise ChangXin Memory Technologies se prépare à entrer en bourse et pourrait à l'avenir utiliser des mémoires bas de gamme à bas prix pour soulager la pression des coûts des grands acteurs comme Apple, dans le domaine des HBM de pointe nécessaires aux serveurs d'IA, seules trois entreprises dans le monde (Micron, SK Hynix, Samsung) sont capables de produire, avec un niveau de difficulté technique extrêmement élevé, qui ne pourra pas être rattrapé à court terme.
L'émission donne une prédiction assez audacieuse : l'année prochaine, 30 à 40 % des dépenses d'investissement mondiales des hyperscalers seront directement orientées vers les fabricants de puces DRAM. Cette augmentation des coûts a déjà conduit Apple à augmenter les prix de détail de tous ses MacBook et Mac Studio.
En matière de edge computing et d'inférence distribuée, c'est le contenu le plus imaginatif de cet épisode. Voici quelques idées intéressantes que j'ai retenues.
Le 18 juin, Tesla a déposé une demande de marque pour un matériel appelé "Megapod". La logique physique derrière cela : construire un centre de données d'un gigawatt au sol nécessite des processus d'approbation extrêmement longs pour le terrain, la consommation d'énergie et le refroidissement liquide. L'idée de Megapod est d'intégrer les GPU, les batteries et le système de refroidissement dans un centre de données modulaire de type conteneur, qui serait directement placé sur le réseau de superchargeurs Tesla déjà approuvé, avec un réseau électrique existant et des terrains disponibles, contournant ainsi le plus grand goulot d'étranglement de la construction de centres de données traditionnels : l'approbation et l'accès à l'électricité.
La logique de l'inférence distribuée est également intéressante : la réponse d'un modèle peut être décomposée en deux phases : la phase de pré-remplissage (compréhension de la question, nécessitant une bande passante élevée) et la phase de décodage (nécessitant une mémoire élevée). Les grands fonds peuvent acheter des cartes graphiques anciennes et dépréciées, ajouter des puces spécialisées pour le décodage, et former un réseau d'inférence distribué à moindre coût.
Une idée encore plus folle : offrir des réductions aux utilisateurs de Powerwall (batterie de stockage domestique) en les forçant à intégrer une puce d'IA dans chaque batterie, couplée à la connexion satellite Starlink. Lorsque la batterie est inutilisée, elle forme automatiquement un vaste pool de raisonnement distribué P2P, fournissant une puissance de calcul offshore presque gratuite et inépuisable. Si cette idée se réalise, ce serait un coup fatal pour les grands fournisseurs de cloud traditionnels.
La partie la plus folle concerne la puissance de calcul dans l'espace. Construire un centre de données d'un gigawatt au sol nécessite 35 milliards de dollars de coût de puces et 25 milliards de dollars de main-d'œuvre pour le refroidissement, sans parler des controverses foncières. Mais avec la réutilisabilité complète du Starship de SpaceX, le coût d'envoi d'un gigawatt de puissance de calcul en orbite via des liaisons laser pourrait chuter à seulement 5 milliards de dollars. L'environnement froid naturel de l'espace et l'énergie solaire quasi-infinie pourraient rendre l'économie opérationnelle des centres de données spatiaux supérieure à celle des centres de données terrestres d'ici 3 à 4 ans.