Coinbase a réduit ses dépenses en IA de près de la moitié et tente de définir des modèles à poids ouvert comme GLM 5.2, Kimi 2.7 comme options par défaut.

BlockBeats rapporte que le 27 juin, le PDG de Coinbase, Brian Armstrong, a déclaré dans un article que pour maintenir les dépenses en IA stables tout en augmentant de manière exponentielle l'utilisation des tokens, la clé ne réside pas dans la mise en place de frictions d'utilisation ou de rappels de dépenses, mais dans de meilleurs modèles par défaut, des mécanismes de routage et de mise en cache. Coinbase teste actuellement via sa passerelle LLM l'utilisation par défaut de modèles à poids ouverts tels que GLM 5.2, Kimi 2.7, tout en encourageant ses ingénieurs à choisir le modèle approprié en fonction de la tâche. Il affirme que 91 % des employés n'ont jamais atteint le plafond d'utilisation, donc l'entreprise n'a pas choisi de réduire les limites et d'augmenter les rappels, mais s'est tournée vers des modèles par défaut moins coûteux.

En matière de routage de modèles, Coinbase prétraite les prompts dans des flux personnalisés et achemine les tâches vers le modèle le plus approprié en fonction du taux de succès du cache et de la tarification des modèles. Par exemple, la phase de planification peut nécessiter un modèle de pointe, mais utiliser un modèle de pointe pendant la phase d'exécution peut être excessif. Selon lui, à l'avenir, le choix du modèle ne devrait pas être effectué par les humains, l'IA peut accomplir cette tâche automatiquement.

Armstrong a également indiqué que les échecs de cache sont le moyen le plus facile d'augmenter les coûts. Toutes les requêtes de Coinbase sont conscientes du cache afin de réutiliser autant que possible le cache chaud. Par exemple, après avoir correctement implémenté le cache, le taux de succès du cache de LibreChat est passé de 5 % à 60 %. De plus, Coinbase demande également à ses ingénieurs de garder le contexte concis, notamment en ouvrant de nouvelles sessions lors du changement de tâche, en réduisant la portée du contexte du fichier, en déconnectant les outils inutilisés, etc. L'objectif n'est pas de freiner l'utilisation de l'IA, mais de construire une infrastructure capable de soutenir une croissance exponentielle. Grâce à ces pratiques, Coinbase a réduit ses dépenses en IA de près de moitié, tandis que l'utilisation des tokens continue de croître.