Modèles open source + routage intelligent + mise en cache, les trois piliers : les coûts d'IA de Coinbase réduits de moitié. Ce partage de Brian Armstrong mérite d'être suivi.

Message de Bijiè Wang, le PDG de Coinbase Brian Armstrong a publié un article partageant son expérience pratique pour maintenir la stabilité des dépenses en IA dans un contexte de croissance exponentielle de l'utilisation des tokens. Il a indiqué que l'entreprise n'a pas adopté de mesures restrictives telles que la fixation de plafonds d'utilisation, mais a plutôt optimisé les modèles par défaut, le routage intelligent et les stratégies de mise en cache pour réduire les coûts et améliorer l'efficacité : en ce qui concerne les modèles par défaut, l'introduction de modèles à poids ouverts tels que GLM 5.2 et Kimi 2.7 a remplacé les modèles génériques coûteux ; grâce à un mécanisme de routage, les modèles sont adaptés en fonction des exigences des tâches ; en utilisant le pré-traitement en cache et la gestion des sessions de tâches, le gaspillage de tokens est réduit (le taux de succès du cache est passé de 5 % à 60 %). Grâce à cette série d'optimisations, les dépenses en IA de Coinbase ont presque été réduites de moitié, tandis que l'utilisation des tokens continue de croître.