Coinbase：AI支出を約50%削減し、デフォルトでオープンウェイトモデルを採用しようとしている。

深潮 TechFlow より、6月27日、CoinbaseのCEOであるBrian Armstrong氏が、同社のAIコスト最適化に関する最新の進展について発表しました。

Armstrong氏によると、AIの利用量とトークン消費量が増加し続ける中で、コストを抑える鍵は従業員の利用を制限したり、予算に関するリマインダーを頻繁に送信することではなく、デフォルトのモデル選択、タスクルーティングの仕組み、キャッシュ戦略を最適化することだといいます。

同氏は、Coinbaseが内部LLMゲートウェイを通じて、GLM 5.2やKimi 2.7などのオープンウェイトモデルをデフォルトオプションとして試行している一方で、エンジニアが特定のタスクのニーズに応じて他のモデルを選択することも引き続き許可していることを明らかにしました。データによると、従業員の91%がAI利用枠の上限に達したことがないため、Coinbaseは割り当てを厳しくするのではなく、より低コストのモデルソリューションを通じて全体的な効率を向上させています。

モデルルーティングに関して、Coinbaseはプロンプトを前処理し、キャッシュヒット率や各モデルの価格設定を考慮して、タスクを最も適切なモデルに自動的に割り当てます。Armstrong氏は、計画や推論などの複雑なタスクは最先端のモデルを必要とする可能性があるが、実行系のタスクは必ずしもより高コストなモデルを呼び出す必要はないと考えています。将来的には、モデル選択のプロセスは人間の判断に依存するのではなく、より多くの部分をAIが自動化すべきだとしています。

さらに、同氏はキャッシュヒット率がAIコストに影響を与える重要な要素の一つであると指摘しています。Coinbaseは、過去の結果の再利用率を高めるために、リクエストプロセスにキャッシュ認識メカニズムを組み込んでいます。例えば、LibreChatでは、キャッシュ戦略を最適化した後、キャッシュヒット率が5%から60%に向上しました。

Armstrong氏はまた、同社はエンジニアに対して、タスクを切り替える際に新しいセッションを開始すること、ファイルのコンテキスト範囲を縮小すること、未使用のツールを閉じることなど、コンテキストを可能な限り簡潔に保つよう求めていると述べています。これにより、不要なトークン消費を減らすことができます。

同氏によると、これらの措置により、CoinbaseはAI支出を約50%削減することに成功し、同時にトークン使用量は引き続き増加しています。