オープンソースモデル+スマートルーティングの手法は非常に強力で、AIコストを半減させながら利用量を指数関数的に増加させる。Brian Armstrongのこの手法は真似する価値がある。

吴获悉、CoinbaseのCEOであるBrian Armstrong氏は、インフラの最適化により、企業のAI支出をほぼ半分に削減しつつ、AIトークンの使用量は依然として指数関数的に増加していると発表した。主なコスト削減策は以下の通り：GLM 5.2やKimi 2.7などのオープンソースモデルを内部LLMゲートウェイのデフォルトオプションとし、スマートルーティングによってタスクに最もコストパフォーマンスの高いモデルを割り当てることで、LibreChatなどのツールのキャッシュヒット率を5%から60%に大幅に向上させた。Armstrong氏は、AIコスト管理の目標は使用を制限することではなく、無駄を減らすことで指数関数的な成長を持続可能にすることだと強調した。