CoinbaseはAI支出を約半分に削減し、GLM 5.2、Kimi 2.7などのオープンウェイトモデルをデフォルトオプションに設定しようとしている。

BlockBeatsの報道によると、6月27日、CoinbaseのCEOであるBrian Armstrong氏は声明を発表し、トークン使用量が指数関数的に増加する一方でAI支出を安定させたいのであれば、重要なのは使用摩擦や支出リマインダーを設定することではなく、より優れたデフォルトモデル、ルーティング、キャッシュメカニズムにあると述べた。CoinbaseはLLMゲートウェイを通じて、GLM 5.2、Kimi 2.7などのオープンウェイトモデルをデフォルトで使用する試みを行っており、同時にエンジニアにはタスクに応じて適切なモデルを選択するよう奨励している。同氏によると、従業員の91%は使用上限に達したことがないため、同社は上限を引き下げてリマインダーを増やすのではなく、より低コストのデフォルトモデルに移行した。

モデルルーティングに関して、Coinbaseはカスタムフロー内でプロンプトを前処理し、キャッシュヒット率とモデル価格に基づいて、タスクを最適なモデルにルーティングする。例えば、計画段階では最先端のモデルが必要かもしれないが、実行段階で最先端モデルを使用するのは過剰かもしれない。同氏は、将来的には人間がモデルを選択するのではなく、AIが自動的にそのタスクを実行できるようになるべきだと述べている。

Armstrong氏はさらに、キャッシュミスがコストを押し上げる最も簡単な方法であると述べた。Coinbaseのリクエストはすべてキャッシュ認識機能を備えており、ホットキャッシュを可能な限り再利用できるようになっている。例えば、キャッシュを適切に実装した後、LibreChatのキャッシュヒット率は5%から60%に向上した。さらに、Coinbaseはエンジニアに対し、タスク切り替え時に新しいセッションを開始する、ファイルコンテキスト範囲を狭める、未使用ツールを切断するなど、コンテキストを簡潔に保つよう求めている。目標はAI使用量を抑制することではなく、指数関数的な成長を支えるインフラを構築することである。上記の実践により、CoinbaseはAI支出をほぼ半減させると同時に、トークン使用量は引き続き増加している。