BlockBeats 消息，6 月 27 日，Coinbase CEO Brian Armstrong 發文表示，若想在 token 使用量指數級增長的同時保持 AI 支出穩定，關鍵不在於設置使用摩擦或支出提醒，而在於更好的默認模型、路由和緩存機制。Coinbase 正在通過 LLM 網關嘗試默認使用 GLM 5.2、Kimi 2.7 等開放權重模型，同時仍鼓勵工程師根據任務選擇合適模型。其稱，91% 的員工從未觸及使用上限，因此公司沒有選擇降低額度並增加提醒，而是轉向更低成本的默認模型。
在模型路由方面，Coinbase 會在自定義流程中預處理提示詞，並根據緩存命中率和模型定價，將任務路由至最合適模型。例如，規劃階段可能需要前沿模型，但執行階段使用前沿模型可能過度。其認為，未來不應由人類選擇模型，AI 可以自動完成該任務。
Armstrong 還表示，緩存未命中是推高成本最容易的方式。Coinbase 的請求均具備緩存感知能力，以便盡可能復用熱緩存。例如，在正確實現緩存後，LibreChat 的緩存命中率已從 5% 提升至 60%。此外，Coinbase 也要求工程師保持上下文精簡，包括切換任務時開啟新會話、縮小文件上下文範圍、斷開未使用工具等。目標不是壓制 AI 使用量，而是構建可支撐指數級增長的基礎設施。通過上述實踐，Coinbase 已將 AI 支出削減近一半，同時 token 使用量仍在繼續增長。
161.64萬 熱度
47.08萬 熱度
34.41萬 熱度
18.54萬 熱度
99.93萬 熱度
Coinbase 已將 AI 支出削減近半，嘗試將 GLM 5.2、Kimi 2.7 等開放權重模型設為預設選項
BlockBeats 消息，6 月 27 日，Coinbase CEO Brian Armstrong 發文表示，若想在 token 使用量指數級增長的同時保持 AI 支出穩定，關鍵不在於設置使用摩擦或支出提醒，而在於更好的默認模型、路由和緩存機制。Coinbase 正在通過 LLM 網關嘗試默認使用 GLM 5.2、Kimi 2.7 等開放權重模型，同時仍鼓勵工程師根據任務選擇合適模型。其稱，91% 的員工從未觸及使用上限，因此公司沒有選擇降低額度並增加提醒，而是轉向更低成本的默認模型。
在模型路由方面，Coinbase 會在自定義流程中預處理提示詞，並根據緩存命中率和模型定價，將任務路由至最合適模型。例如，規劃階段可能需要前沿模型，但執行階段使用前沿模型可能過度。其認為，未來不應由人類選擇模型，AI 可以自動完成該任務。
Armstrong 還表示，緩存未命中是推高成本最容易的方式。Coinbase 的請求均具備緩存感知能力，以便盡可能復用熱緩存。例如，在正確實現緩存後，LibreChat 的緩存命中率已從 5% 提升至 60%。此外，Coinbase 也要求工程師保持上下文精簡，包括切換任務時開啟新會話、縮小文件上下文範圍、斷開未使用工具等。目標不是壓制 AI 使用量，而是構建可支撐指數級增長的基礎設施。通過上述實踐，Coinbase 已將 AI 支出削減近一半，同時 token 使用量仍在繼續增長。