torygreen

.@ionet a fait transiter environ 416 milliards de tokens via OpenRouter en octobre.
Maintenir environ 13,4 milliards de tokens par jour sur un réseau GPU distribué, c’est là que l’architecture est vraiment mise à l’épreuve.
Acheminer le trafic entre du matériel hétérogène, maintenir une latence prévisible et rendre les pannes invisibles pour l’utilisateur comptent d’autant plus lorsque le trafic est aussi constant.
Dans l’ensemble, un très bon mois pour ionet, et un aperçu intéressant de ce à quoi le réseau pourrait ressembler à une bien plus grande échelle.

Même rack B300 : environ $600k hors de Chine, environ 2,8 millions de dollars à l’intérieur. Pas étonnant que les labos chinois louent simplement des serveurs à l’étranger.
Nvidia indique maintenant aux fournisseurs cloud qu’au moins 51 % de leurs nouvelles capacités doivent être réservées à des clients non chinois (via FT). Les contrats existants sont maintenus.
Ceux qui m’inquiètent sont les néoclouds asiatiques dont toute la demande repose sur les labos chinois. Un opérateur singapourien affirme déjà qu’il est difficile de trouver des acheteurs non chinois hors des États-Unis. S’ils ne peu

Même modèle. Mêmes tâches. 88 % de tokens en moins.
Les chercheurs ont reconstruit la boucle autour de DeepSeek Harness, et le nombre de tokens par tâche HumanEval est passé de 96 000 à 11 600. Le modèle en a aussi résolu davantage : de 71 % à 86 %.
Une grande partie des tokens consommés par les agents est due à la boucle qui réexamine, après chaque appel d’outil, un travail qu’elle avait déjà réglé. Réduisez cela et la facture est divisée par environ 8, sans toucher aux poids.
Si vous prévoyez la demande d’inférence à partir du nombre actuel de tokens par tâche, une grande partie de ce chiffr

Le 6 février était apparemment le dernier jour où les humains ont consommé plus de jetons que les agents sur @OpenRouter.
L’utilisation hebdomadaire est passée de 0,5 billion de jetons en janvier 2025 à 128,4 billions en septembre 2026. Environ 250 fois plus en 20 mois.
Je pense que cette première statistique compte bien plus que la plupart des graphiques sur la croissance du nombre d’utilisateurs de l’IA.
Les humains ont une limite assez stricte quant à la quantité d’IA qu’ils peuvent utiliser en une journée. Les agents peuvent fonctionner toute la nuit, réessayer, faire appel à d’autres agen

Les États-Unis ont investi environ 23 fois plus de capitaux privés dans l’IA que la Chine.
Pendant ce temps, les 5 modèles les plus utilisés sur OpenRouter étaient chinois et ont traité environ 74 billions de tokens.
Le contraste est assez saisissant.
Les laboratoires américains remportent la course aux capitaux, mais les modèles chinois se diffusent dans les couches de la pile technologique que les développeurs utilisent au quotidien : l’inférence, les agents, les outils de programmation et les charges de travail peu coûteuses via API.
Si cette tendance se poursuit, la Chine n’a pas besoin de

Près de 90 % des jetons d’agent sur @OpenRouter sont des lectures du cache.
La sortie et le raisonnement ne représentent qu’environ 1 %.
Et les clés API utilisées par les agents consomment déjà environ 7 fois plus de jetons que celles utilisées par des humains.
Cela paraît logique quand on voit comment les agents fonctionnent. À chaque étape, le système réinjecte dans le modèle le prompt système, les définitions des outils, les fichiers, les appels d’outils précédents et l’état de la conversation.
Un agent qui tourne longtemps devient essentiellement un énorme ensemble de travail qui doit rest

L’IA a capté 64 % du financement mondial en capital-risque au T3.
$102B sur 159 milliards de dollars.
Et, curieusement, l’argent se concentre de plus en plus au même moment.
27 entreprises ont levé au moins 1 milliard de dollars lors de leurs tours de table et absorbé environ un tiers du financement mondial. Les tours de table de plus de 100 millions de dollars ont représenté près de 90 % du financement en phase avancée.
L’IA de pointe commence à ressembler moins à du capital-risque classique dans le logiciel qu’à de l’industrie lourde, avec des coûts initiaux absurdes.
La puissance de calcul,

L’IA pourrait finir par forcer les entreprises à cesser de fonctionner grâce au savoir tacite.
Les agents ne peuvent pas contourner ce que les humains font d’une manière ou d’une autre : des décisions piégées dans des réunions, des priorités qui n’existent que dans la tête de quelqu’un, des exceptions étranges que tout le monde connaît mais que personne n’a consignées.
@AnthropicAI se heurte déjà à ce problème. L’entreprise compte environ 6 heures-agent pour chaque heure-employé, et pourtant ces agents passent encore la majeure partie de leur temps d’interaction à attendre les humains.
Les emp

Une unité de capacité d’IA à 1 dollar aujourd’hui tombe à environ 8 cents un an plus tard si la tendance actuelle se maintient.
47 % moins cher chaque trimestre signifie qu’à capacité constante, le prix est essentiellement divisé par deux tous les ~100 jours.
Le matériel sous-jacent n’évolue nulle part à un rythme comparable.
Les performances/$ des puces d’IA se sont améliorées d’environ 49 % par an depuis 2023. La capacité des modèles ajustée en fonction de la qualité devient environ 13 fois moins chère.
La majeure partie de cette compression se produit donc au-dessus du silicium : meilleures

.@ionet atteint environ 165 milliards de tokens via @OpenRouter au cours des 13 premiers jours d’octobre.
Cela représente déjà environ 1,8 fois tout ce que nous avons fait en juillet.
Si le rythme actuel se maintient, octobre atteindra environ 4 fois le volume total de juillet.
Cela m’importe davantage que le simple nombre de GPU, franchement.
Le rendement utile par GPU déployé continue d’augmenter à mesure que les modèles parcimonieux s’améliorent et que la pile de service gagne en efficacité. Le réseau peut donc croître dans deux directions à la fois : davantage de matériel mis en ligne, et

D’ici 2032, les calculs actuels du déploiement de l’IA tablent sur environ 183 GW de capacité générant environ 6,90 dollars par heure-GPU facturée, avec un taux d’utilisation de 80 %.
Cela représente une quantité énorme d’infrastructures qui doivent rester constamment sollicitées.
Le scénario central de Van Nieuwerburgh suppose une base de capital de 9,6 billions de dollars, des rendements avant effet de levier de 10 %, des marges de flux de trésorerie opérationnels de 50 % et une durée de vie de six ans pour les équipements informatiques.
Dans ce cadre, le système doit générer 3,725 billions

.@ionet a traité presque autant de jetons via @OpenRouter au cours de la première semaine d’octobre que pendant tout le mois de juillet.
~92 milliards de jetons en juillet
~86 milliards du 1er au 7 oct.
20,9 milliards le 7 oct. à lui seul
Mêmes machines.
Ce que j’aime le plus, c’est la façon dont le volume se manifeste.
Une grande partie du volume récent passe par des modèles parcimonieux comme MiMo, Gemma et Nemotron, où seule une petite fraction du modèle est activée pour chaque jeton. Combiné à de meilleures infrastructures de regroupement, de mise en cache, de routage et de service, cela f

Jev est peut-être l’exemple parfait de la vitesse à laquelle une bonne idée d’IA se banalise aujourd’hui.
Le projet a été lancé le 15 septembre. En l’espace de deux semaines, OpenAI, Databricks et Cloudflare proposaient déjà des solutions basées sur le même principe. Le Clef-flash de Cloudflare est même compatible avec Jev et revendique une latence médiane environ 13 fois inférieure.
La demande n’était donc pas le problème. L’idée était simplement facile à intégrer une fois que tout le monde l’avait vue fonctionner.
On a l’impression que l’avantage défendable doit ici reposer sur la boucle de

Même banc d’essai Deepseek, même instruction courte :
Deepseek-v4-flash obtient 0,52 sur BIABench.
Claude Opus 5 obtient 0,65.
Ainsi, dépenser environ 50 fois plus n’achète que 0,13 point supplémentaire sur 16 tâches réelles d’analyse d’images biologiques.
Et le bas de la distribution évolue à peine. Certaines tâches 3D + séries temporelles restent sous 0,19 avec chaque agent, tandis que relancer le même modèle peut entraîner une variation supérieure à celle observée en changeant complètement de modèle.
J’utiliserais probablement le modèle bon marché pour le volume courant, puis transmettrais

Google bénéficie d’un avantage particulièrement déloyal avec Argon par rapport au reste des laboratoires de pointe
ils possèdent les TPU sous-jacents à Argon et peuvent intégrer directement le modèle dans des API qui traitent déjà environ 22 milliards de tokens/min.
C’est une configuration particulièrement impressionnante.
Construire les puces -> entraîner le modèle -> le déployer dans une distribution démesurée -> réinjecter les gains dans l’itération suivante.
Et Argon améliore déjà la pile technologique qui l’entoure, libérant plus de 300 TiB de mémoire de centre de données en migrant plus

.@AnthropicAI Le S-1 est assez fascinant, car l’activité évolue presque trop vite pour le document lui-même.
Le chiffre d’affaires de 2025 s’élevait à environ 4,6 milliards de dollars. Le seul T2 2026 a atteint environ 11,5 milliards de dollars et, fin juillet, l’ARR aurait dépassé 65 milliards de dollars.
On se retrouve ensuite avec près de 80 pages de facteurs de risque contre 48 consacrées à l’activité elle-même, une déclaration indiquant qu’environ 6 % de la puissance de calcul consacrée à la recherche en IA a été affectée à la sécurité au cours d’une semaine prise comme échantillon, ainsi

L’adoption de l’IA a à peine progressé cette année. Les dépenses des consommateurs sont tout de même passées de ~$12B → 40 milliards de dollars.
C’est un signal bien plus intéressant qu’une nouvelle étape du nombre d’utilisateurs.
L’adoption aux États-Unis n’est passée que de 61 % à 64 %. Le nombre d’utilisateurs dans le monde a augmenté d’environ 11 %.
Les utilisateurs existants ont simplement commencé à confier bien davantage de leur vie à l’IA.
41 % ont essayé un agent. 32 % ont déjà laissé l’IA agir sans approbation finale. Et 92 % des utilisateurs d’agents paient pour l’IA.
La prochaine p