吴说获悉,Coinbase CEO Brian Armstrong 发文表示,公司通过优化基础设施,已将企业 AI 支出削减了近一半,同时 AI 代币使用量仍在指数级增长。其核心降本措施包括:将 GLM 5.2 和 Kimi 2.7 等开源模型作为内部 LLM 网关的默认选项,通过智能路由为任务匹配最具性价比的模型将 LibreChat 等工具的缓存命中率从 5% 大幅提升至 60% 。Armstrong 强调,管理 AI 成本的目标不是限制使用,而是通过减少浪费让指数级增长变得可持续。

Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 7
  • 2
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
MechanicalHummingbird
· 5h atrás
GLM 5.2 como padrão, esta onda de modelos nacionais indo para o exterior parece ter sido validada, né?
Ver originalResponder0
ElevatorMeme
· 11h atrás
Crescimento exponencial + custos reduzidos pela metade, a equipe de infraestrutura de IA da Coinbase já pode sair vendendo cursos.
Ver originalResponder0
GateUser-2bbf8435
· 12h atrás
Brian tem uma ideia interessante: em vez de cortar o orçamento, corta o desperdício. O uso de IA dobra, mas o custo cai. Isso sim é realmente reduzir custos e aumentar a eficiência.
Ver originalResponder0
GateUser-ffe7bee5
· 12h atrás
De 5% a 60%, essa otimização de cache não deve ter dominado a engenharia de prompt.
Ver originalResponder0
GateUser-870b5e71
· 12h atrás
Existem soluções de código aberto para o cache do LibreChat? Quero copiar o trabalho.
Ver originalResponder0
FragmentedSilverStarMap
· 12h atrás
A taxa de acerto de cache subiu de 5% para 60%, fiquei com inveja desse nível de otimização, enquanto internamente ainda estamos lutando com 20%.
Ver originalResponder0
SunshineCollector
· 12h atrás
Modelo de código aberto + roteamento inteligente é realmente uma jogada agressiva, GLM e Kimi diretamente como padrão, o dinheiro economizado pode ser usado para mais algumas rodadas de treinamento.
Ver originalResponder0