Coinbaseのコスト削減と効率化の手法は見事だ：オープンソースモデルの活用、スマートルーティングの実装、キャッシュヒット率を5%から60%に引き上げる——AIインフラの教科書的な事例だ。

幣界網メッセージ、CoinbaseのCEOであるBrian Armstrong氏がXプラットフォームで投稿し、Coinbaseはデフォルト設定、ルーティング、キャッシュ戦略を最適化することで、トークン使用量が継続的に増加している状況下でAI支出を約50%削減したと述べた。
具体的な対策は以下の通り：デフォルトモデルをGLM 5.2やKimi 2.7などのオープンソースウェイトモデルに切り替え。91％の従業員はこれまで使用上限に達したことがなく、カスタムシステムでプロンプトを前処理し、最適なモデルに自動ルーティングすることで、計画タスクと実行タスクの差別化処理を実現し、キャッシュヒット率を向上。LibreChatのキャッシュヒット率は5％から60％に向上し、コンテキスト管理を効率化。タスク切り替え時に新しいセッションを開始し、ファイルコンテキスト範囲を縮小することで支出の可視性を強化。エンジニアは自由にモデルを選択できるが、それに伴う影響を想定する必要がある。