CoinbaseがLibreChatのキャッシュヒット率を5%から60%に引き上げ、GLMとKimiをデフォルトゲートウェイに設定——AI使用を制限するのではなく、急成長を持続可能にするというこの考え方は、単に予算を削減するよりもはるかに優れている。

吴获悉、CoinbaseのCEOであるBrian Armstrong氏は、インフラの最適化により、企業のAI支出をほぼ半分に削減しつつ、AIトークンの使用量は依然として指数関数的に増加していると発表した。主なコスト削減策は以下の通り：GLM 5.2やKimi 2.7などのオープンソースモデルを内部LLMゲートウェイのデフォルトオプションとし、スマートルーティングによってタスクに最もコストパフォーマンスの高いモデルを割り当てることで、LibreChatなどのツールのキャッシュヒット率を5%から60%に大幅に向上させた。Armstrong氏は、AIコスト管理の目標は使用を制限することではなく、無駄を減らすことで指数関数的な成長を持続可能にすることだと強調した。