吴氏報道によると、CoinbaseのCEOブライアン・アームストロング氏は、同社がインフラの最適化により企業のAI支出をほぼ半減させた一方で、AIトークンの使用量は依然として指数関数的に増加していると述べています。その主なコスト削減策には、GLM 5.2やKimi 2.7などのオープンソースモデルを内部LLMゲートウェイのデフォルトオプションとし、スマートルーティングによりタスクに最適なコスト効率のモデルを割り当てることで、LibreChatなどのツールのキャッシュヒット率を5%から60%に大幅に向上させたことが含まれます。アームストロング氏は、AIコスト管理の目標は使用を制限することではなく、無駄を減らすことで指数関数的な成長を持続可能にすることだと強調しています。

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし