Coinbase a fait passer le taux de réussite du cache de LibreChat de 5 % à 60 %, en utilisant GLM et Kimi comme passerelle par défaut — non pas pour limiter l'utilisation de l'IA, mais pour rendre la croissance folle durable. Cette approche est infiniment meilleure que de simplement réduire le budget.

Wu a appris que Brian Armstrong, PDG de Coinbase, a déclaré dans un article que l'entreprise a réduit ses dépenses en IA d'entreprise de près de moitié en optimisant son infrastructure, tout en voyant l'utilisation des jetons IA continuer de croître de manière exponentielle. Ses mesures clés de réduction des coûts incluent : utiliser des modèles open source tels que GLM 5.2 et Kimi 2.7 comme options par défaut pour la passerelle LLM interne, et faire correspondre les tâches avec les modèles les plus rentables grâce à un routage intelligent, tout en augmentant considérablement le taux de succès du cache d'outils comme LibreChat de 5 % à 60 %. Armstrong a souligné que l'objectif de la gestion des coûts de l'IA n'est pas de limiter l'utilisation, mais de rendre la croissance exponentielle durable en réduisant le gaspillage.