Coinbase這降本增效玩得溜:切開源模型、做智能路由、快取命中率從5%拉到60%,AI infra的教科書案例

COIN2.62%
查看原文
币 界 网
幣界網消息,Coinbase首席執行官Brian Armstrong在X平台發文表示,Coinbase通過優化預設設定、路由和快取策略,在代幣使用量持續增長的情況下將AI支出降低近50%。具體措施包括:將預設模型切換至GLM 5.2和Kimi 2.7等開源權重模型,91%員工此前從未觸達使用上限在自定義系統中預處理提示詞並自動路由至最適合的模型,實現規劃與執行任務的差異化處理提升快取命中率,LibreChat快取命中率從5%提升至60%精簡上下文管理,切換任務時開啟新會話並縮小文件上下文範圍增強支出可見性,工程師可自由選擇模型但需承擔相應影響預期。
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆