Modèle open source + routage intelligent, cette astuce est vraiment redoutable : elle réduit de moitié les coûts de l'IA tout en permettant une croissance exponentielle de l'utilisation. L'opération de Brian Armstrong mérite d'être copiée.

Wu a appris que Brian Armstrong, PDG de Coinbase, a déclaré dans un article que l'entreprise a réduit ses dépenses en IA d'entreprise de près de moitié en optimisant son infrastructure, tout en voyant l'utilisation des jetons IA continuer de croître de manière exponentielle. Ses mesures clés de réduction des coûts incluent : utiliser des modèles open source tels que GLM 5.2 et Kimi 2.7 comme options par défaut pour la passerelle LLM interne, et faire correspondre les tâches avec les modèles les plus rentables grâce à un routage intelligent, tout en augmentant considérablement le taux de succès du cache d'outils comme LibreChat de 5 % à 60 %. Armstrong a souligné que l'objectif de la gestion des coûts de l'IA n'est pas de limiter l'utilisation, mais de rendre la croissance exponentielle durable en réduisant le gaspillage.