Brian Armstrong : Les dépenses en IA de Coinbase ont presque diminué de moitié, tandis que l'utilisation des tokens continue de croître.

robot
Création du résumé en cours

吴说获悉,Coinbase CEO Brian Armstrong 发文分享了在代币使用量指数级增长背景下保持 AI 开支稳定的实践经验。Armstrong 表示,公司并未采取设置使用上限等限制手段,而是通过优化默认模型、智能路由与缓存策略来实现降本增效:在默认模型方面,引入 GLM 5.2 和 Kimi 2.7 等开放权重模型以替代昂贵的通用模型;通过路由机制根据任务需求匹配模型;利用缓存预处理与任务会话管理减少 Token 浪费(缓存命中率从 5% 提升至 60%)。得益于这一系列优化,Coinbase 的 AI 支出已近乎减半,同时 Token 使用量仍保持增长。

Wu a appris que Brian Armstrong, PDG de Coinbase, a publié un article partageant son expérience pratique pour maintenir la stabilité des dépenses en IA dans un contexte de croissance exponentielle de l'utilisation des tokens. Armstrong a indiqué que l'entreprise n'a pas adopté de mesures restrictives telles que la fixation d'un plafond d'utilisation, mais a plutôt réalisé une réduction des coûts et une amélioration de l'efficacité en optimisant les modèles par défaut, le routage intelligent et les stratégies de cache : en matière de modèles par défaut, introduction de modèles à poids ouverts tels que GLM 5.2 et Kimi 2.7 pour remplacer les modèles universels coûteux ; correspondance des modèles en fonction des besoins des tâches via un mécanisme de routage ; utilisation du pré-traitement du cache et de la gestion des sessions de tâches pour réduire le gaspillage de tokens (le taux de succès du cache est passé de 5 % à 60 %). Grâce à cette série d'optimisations, les dépenses en IA de Coinbase ont presque été réduites de moitié, tandis que l'utilisation des tokens continue de croître.

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 5
  • 1
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
GateUser-d2b4d9c6
· Il y a 3h
Pas de limites + routage intelligent, cette idée mérite d'être imitée.
Voir l'originalRépondre0
HotAirBalloonCrossingMountains
· Il y a 3h
Token monte, dépenses baissent, cette opération d'Armstrong est un manuel.
Voir l'originalRépondre0
GateUser-673fb6fa
· Il y a 3h
Le GLM 5.2 a un rapport qualité-prix vraiment compétitif, nous aussi, nous passons dessus.
Voir l'originalRépondre0
BerryColdWallet
· Il y a 3h
Taux de succès du cache de 5 % à 60 % : c'est juste hallucinant, voilà la vraie réduction des coûts.
Voir l'originalRépondre0
GateUser-94818fd0
· Il y a 3h
Les modèles à poids ouverts sont maintenant vraiment formidables, les grandes entreprises à code source fermé sont sous pression.
Voir l'originalRépondre0