Coinbase maîtrise l'art de réduire les coûts et d'augmenter l'efficacité : découpage de modèles open source, routage intelligent, taux de succès du cache passé de 5 % à 60 %, un cas d'école pour l'infrastructure IA.

COIN-1,04%
Voir l'original
CoinNetwork
消息来源:Coinbase首席执行官Brian Armstrong在X平台上表示,通过优化默认设置、路由和缓存策略,Coinbase在代币使用量持续增长的情况下将AI支出降低了近50%。具体措施包括:将默认模型切换至GLM 5.2和Kimi 2.7等开源权重模型,91%的员工此前从未达到使用上限;在自定义系统中预处理提示词并自动路由至最适合的模型,实现规划与执行任务的差异化处理;提升缓存命中率,LibreChat缓存命中率从5%提升至60%;精简上下文管理,切换任务时开启新会话并缩小文件上下文范围;增强支出可见性,工程师可自由选择模型但需承担相应影响预期。
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé