美国科技企业正在悄然将中国开源AI模型纳入生产基础设施。随着顶尖美国模型服务成本持续攀升,以Coinbase为代表的企业开始以中国开源模型作为默认选项,以此在不压制使用量的前提下大幅压缩AI开支。
Coinbase首席执行官Brian Armstrong于上周五晚间在X平台发文披露,公司已将智谱旗下刚刚发布的GLM 5.2以及北京月之暗面旗下的Kimi 2.7,通过内部LLM网关设定为工程师的默认模型。Armstrong表示,在结合路由优化与缓存改进等措施后,Coinbase的AI支出已削减"近一半",而token使用量仍在以指数级增速增长。
Armstrong在帖子中明确指出,91%的工程师从未触及原有的使用上限,因此Coinbase并未选择降低上限或增设消费提醒,而是转向"更便宜的默认模型"。
GLM 5.2来自智谱,Kimi 2.7来自北京月之暗面,二者均属开源权重模型。Armstrong表示,这些模型被部署于常规任务场景,而对于需要复杂规划的任务,工程师仍可选用前沿模型。他的逻辑是:在执行层面使用顶级模型往往是"大材小用"。
代码审查环节则采用多模型并行策略,让不同模型相互校验输出结果,以维持质量标准。
Armstrong列出了三项核心手段。
第一是智能路由:在自定义调度框架中,系统对提示词进行预处理,综合缓存命中率与模型定价,将任务自动分发至最合适、最经济的模型。他表示,最终目标是让AI而非人工来完成模型选择这一任务。
第二是积极缓存:Coinbase要求所有请求具备缓存感知能力,尽量复用已有缓存。以LibreChat为例,在正确实施缓存机制后,缓存命中率从5%跃升至60%。
第三是精简上下文:Armstrong建议在切换任务时开启新会话,缩小文件上下文范围,断开未使用的工具连接。他强调,目标不是减少token使用总量,而是减少"被浪费的token"。
Armstrong将此次成本压缩定性为扩大AI采用规模的前提条件,而非一种限制。他表示,工程师仍可自由使用任意数量的token和任意模型,但公司已将用量数据可视化,并将使用量与业务影响挂钩——"花得越多,我们期望的影响也越大"。
他并未披露具体的绝对支出数字。但从结构上看,在使用量指数增长的同时实现支出近半削减,意味着Coinbase已在一定程度上实现了消耗与成本的解耦。
Armstrong的结论是,这套方法论具有普适性,任何企业均可借鉴,以便在不将成本设为天花板的前提下,实现AI使用规模的可持续扩张。
风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
165.74万 热度
35.81万 热度
12.97万 热度
60.55万 热度
100.78万 热度
美国科技企业悄然转向中国AI模型,Coinbase带头用上GLM与Kimi
美国科技企业正在悄然将中国开源AI模型纳入生产基础设施。随着顶尖美国模型服务成本持续攀升,以Coinbase为代表的企业开始以中国开源模型作为默认选项,以此在不压制使用量的前提下大幅压缩AI开支。
Coinbase首席执行官Brian Armstrong于上周五晚间在X平台发文披露,公司已将智谱旗下刚刚发布的GLM 5.2以及北京月之暗面旗下的Kimi 2.7,通过内部LLM网关设定为工程师的默认模型。Armstrong表示,在结合路由优化与缓存改进等措施后,Coinbase的AI支出已削减"近一半",而token使用量仍在以指数级增速增长。
中国开源模型成本优势被摆上台面
Armstrong在帖子中明确指出,91%的工程师从未触及原有的使用上限,因此Coinbase并未选择降低上限或增设消费提醒,而是转向"更便宜的默认模型"。
GLM 5.2来自智谱,Kimi 2.7来自北京月之暗面,二者均属开源权重模型。Armstrong表示,这些模型被部署于常规任务场景,而对于需要复杂规划的任务,工程师仍可选用前沿模型。他的逻辑是:在执行层面使用顶级模型往往是"大材小用"。
代码审查环节则采用多模型并行策略,让不同模型相互校验输出结果,以维持质量标准。
三层基础设施重构驱动成本削减
Armstrong列出了三项核心手段。
第一是智能路由:在自定义调度框架中,系统对提示词进行预处理,综合缓存命中率与模型定价,将任务自动分发至最合适、最经济的模型。他表示,最终目标是让AI而非人工来完成模型选择这一任务。
第二是积极缓存:Coinbase要求所有请求具备缓存感知能力,尽量复用已有缓存。以LibreChat为例,在正确实施缓存机制后,缓存命中率从5%跃升至60%。
第三是精简上下文:Armstrong建议在切换任务时开启新会话,缩小文件上下文范围,断开未使用的工具连接。他强调,目标不是减少token使用总量,而是减少"被浪费的token"。
效率优先,而非压制使用
Armstrong将此次成本压缩定性为扩大AI采用规模的前提条件,而非一种限制。他表示,工程师仍可自由使用任意数量的token和任意模型,但公司已将用量数据可视化,并将使用量与业务影响挂钩——"花得越多,我们期望的影响也越大"。
他并未披露具体的绝对支出数字。但从结构上看,在使用量指数增长的同时实现支出近半削减,意味着Coinbase已在一定程度上实现了消耗与成本的解耦。
Armstrong的结论是,这套方法论具有普适性,任何企业均可借鉴,以便在不将成本设为天花板的前提下,实现AI使用规模的可持续扩张。
风险提示及免责条款