Un mois à brûler 1,3 million de dollars ! Le père du homard révèle sa facture de tokens, tous les frais OpenAI inclus

Oui, vous ne vous êtes pas trompé !

Le père du homard Peter Steinberger a dépensé plus de 1,3 million de dollars en un mois en tokens API.

On peut voir que la consommation totale de tokens sur 30 jours est de 603 milliards, avec 7,6 millions de requêtes,

Les internautes s’exclament : « Engager une équipe de développement pourrait être moins cher que ça. »

Un autre internaute a demandé : « Frère, tu ferais mieux de montrer un peu de vrai talent, faire quelque chose que même ces ingénieurs à un million de dollars par an ne peuvent pas gérer, sinon cette publicité risque de devenir un signe que la bulle des laboratoires de recherche de pointe commence à éclater. Et en plus, ce prix est subventionné. Mon Dieu, si on calcule selon le coût réel, ce serait beaucoup plus cher. »

Steinberger a répondu : « J’ai désactivé le mode rapide, le prix a baissé de 70 %, donc en gros, cela ne coûte qu’un employé. »

Quelqu’un a même lancé en se moquant : « 1,3 million de dollars par mois ? Et tu n’as rien livré. Tu es vraiment le pire génie du marketing de l’histoire. »

Steinberger a également répliqué : « Pas si sûr, frère, ta définition de ‘rien livré’ est peut-être un peu trop particulière. »

Steinberger a aussi indiqué : « Tout ce code a été écrit avec Codex. Les demandes de tirage un peu désordonnées, que j’ai ensuite organisées, ont probablement été écrites par Claude. »

Après avoir révélé ses coûts élevés en tokens et suscité une vive discussion, Steinberger a rapidement répondu en disant qu’il essayait de répondre à une question :

« Si les tokens ne sont plus importants, comment allons-nous construire des logiciels à l’avenir ? »

Nous faisons fonctionner en cloud environ 100 instances de Codex, en examinant chaque PR, chaque issue. Dès qu’une correction est fusionnée dans la branche principale, @clawsweeper finit par retrouver cette vieille issue abandonnée depuis 6 mois, et la fermer avec une citation précise.

Nous faisons tourner Codex sur chaque commit pour examiner les problèmes de sécurité, car ces derniers sont très faciles à manquer.

Nous utilisons Codex pour dédupliquer, découvrir des clusters d’issues, et envoyer des rapports sur les problèmes les plus urgents.

Nous disposons d’agents capables de reproduire des environnements complexes, de lancer des machines temporaires crabbox.sh, de se connecter à des plateformes comme Telegram, d’enregistrer des vidéos, et de publier des comparaisons avant/après dans les PR.

D’autres Codex surveillent les nouvelles issues, et si elles correspondent à notre vision produit, ils créent automatiquement une PR. Ensuite, un autre Codex examine cette PR.

Nous utilisons aussi Codex pour scanner les commentaires pour détecter le spam, et bannir les utilisateurs concernés.

Nous déployons des instances de Codex pour vérifier les performances, et rapportons les régressions sur Discord.

Nous avons des agents qui écoutent nos réunions et commencent à travailler de façon proactive. Par exemple, lorsqu’on discute d’une nouvelle fonctionnalité, ils créent directement une PR pendant la réunion.

Nous avons construit clatch.ai, qui divise tous les projets en unités fonctionnelles pour examiner, détecter des bugs et des régressions.

En matière de sécurité, nous faisons aussi cette segmentation, en combinant Vercel Deepsec et Codex Security pour détecter les régressions et vulnérabilités.

Toutes ces automatisations nous permettent de faire fonctionner ce projet avec une équipe extrêmement réduite.

La question est : qui doit supporter ces coûts si élevés ? Clairement pas lui-même.

« OpenAI ne me facture pas pour mes tokens. »

Tokenmaxxing : Combien de temps cette course à la capacité peut-elle durer

Cela tue directement la compétition.

Récemment, dans le cercle de l’IA, le Tokenmaxxing a été un sujet chaud, avec des grands acteurs comme Meta et Amazon, qui ont même publié des classements internes d’utilisation de tokens, faisant de la consommation de tokens un KPI quotidien pour les employés.

À l’époque, Meta, en première position, voyait une consommation moyenne de 281 milliards de tokens par utilisateur, ce qui, selon les tarifs des différents modèles, pourrait représenter des millions de dollars de dépenses. Et le père du homard Peter Steinberger a consommé 603 milliards de tokens en un mois, ce qui est une véritable défaite en termes de dimension.

L’ancien scientifique de Tesla et OpenAI Karpathy a admis dans un podcast ressentir la pression de maximiser l’utilisation de l’IA : « La clé, c’est le token. Quel est ton débit de tokens ? Combien peux-tu mobiliser ? »

Les tokens deviennent peu à peu une nouvelle ressource de production, voire une unité de mesure de la densité opérationnelle de l’IA. Une équipe, avec un débit élevé de tokens, une segmentation efficace des tâches, et un cycle de validation fiable, peut atteindre une densité de projet autrefois réservée aux grandes équipes.

Juste maintenant, le président d’OpenAI, Greg Brockman, a tweeté : « Les tokens deviennent rapidement une entrée universelle pour résoudre des problèmes. »

Mais nous croyons que la victoire ne dépend pas uniquement de la quantité de tokens, comme le montre l’approche du père du homard pour automatiser le développement d’agents intelligents : un bon modèle de gestion de projet pourrait être la clé du succès.

Source de l’article : Machine Heart

Avertissement de risque et clause de non-responsabilité

Le marché comporte des risques, l’investissement doit être prudent. Cet article ne constitue pas un conseil d’investissement personnel, ni ne prend en compte les objectifs, la situation financière ou les besoins spécifiques de chaque utilisateur. Les utilisateurs doivent juger si les opinions, points de vue ou conclusions de cet article conviennent à leur situation particulière. En investissant en se basant sur ces informations, ils en assument la responsabilité.