Coinbase这降本增效玩得溜:切开源模型、做智能路由、缓存命中率从5%拉到60%,AI infra的教科书案例

COIN-1.04%
币 界 网
币界网消息,Coinbase首席执行官Brian Armstrong在X平台发文表示,Coinbase通过优化默认设置、路由和缓存策略,在代币使用量持续增长的情况下将AI支出降低近50%。具体措施包括:将默认模型切换至GLM 5.2和Kimi 2.7等开源权重模型,91%员工此前从未触达使用上限在自定义系统中预处理提示词并自动路由至最适合的模型,实现规划与执行任务的差异化处理提升缓存命中率,LibreChat缓存命中率从5%提升至60%精简上下文管理,切换任务时开启新会话并缩小文件上下文范围增强支出可见性,工程师可自由选择模型但需承担相应影响预期。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论