オープンソースモデル + スマートルーティング + キャッシュの三種の神器で、CoinbaseのAIコストが半減。Brian Armstrongのこの共有は真似する価値あり。

币界網消息、Coinbase CEOのBrian Armstrong氏は、トークン使用量が指数関数的に増加する中でAI支出を安定させる実践的な経験を共有する記事を発表しました。同氏によれば、同社は使用上限を設定するなどの制限手段を取らず、デフォルトモデルの最適化、スマートルーティング、キャッシュ戦略を通じてコスト削減と効率化を実現しました。デフォルトモデルでは、GLM 5.2やKimi 2.7などのオープンウェイトモデルを導入して高価な汎用モデルを置き換え、ルーティングメカニズムによってタスク要件に応じてモデルをマッチングし、キャッシュプリプロセシングとタスクセッション管理を活用してトークンの無駄を削減しました（キャッシュヒット率は5％から60％に向上）。これらの一連の最適化により、CoinbaseのAI支出はほぼ半減し、同時にトークン使用量は増加を続けています。