A Coinbase aumentou a taxa de acertos de cache do LibreChat de 5% para 60%, usando GLM e Kimi como gateways padrão — não para limitar o uso de IA, mas para tornar o crescimento louco sustentável. Esta abordagem é muito superior a simplesmente cortar orçamentos.

Wu soube que o CEO da Coinbase, Brian Armstrong, afirmou que a empresa reduziu quase para metade os gastos com IA empresarial através da otimização da infraestrutura, enquanto a utilização de tokens de IA continua a crescer exponencialmente.
As suas principais medidas de redução de custos incluem: utilizar modelos de código aberto como o GLM 5.2 e o Kimi 2.7 como opções padrão para o gateway interno de LLM, encaminhar de forma inteligente as tarefas para o modelo com melhor relação custo-benefício e aumentar significativamente a taxa de acerto da cache de ferramentas como o LibreChat de 5% para 60%.
Armstrong enfatizou que o objetivo de gerir os custos de IA não é limitar a utilização, mas sim tornar o crescimento exponencial sustentável através da redução do desperdício.