A Coinbase reduziu seus gastos com IA em quase metade e está tentando definir modelos de peso aberto como GLM 5.2, Kimi 2.7 como opção padrão.

BlockBeats informa que, em 27 de junho, o CEO da Coinbase, Brian Armstrong, escreveu que, para manter os gastos com IA estáveis enquanto o uso de tokens cresce exponencialmente, a chave não está em criar fricções de uso ou lembretes de gastos, mas sim em melhores modelos padrão, roteamento e mecanismos de cache. A Coinbase está tentando usar modelos de pesos abertos como GLM 5.2 e Kimi 2.7 por padrão através de um gateway LLM, enquanto ainda incentiva os engenheiros a escolherem o modelo adequado para cada tarefa. Ele afirma que 91% dos funcionários nunca atingiram o limite de uso, portanto, a empresa optou por mudar para modelos padrão de menor custo, em vez de reduzir os limites e aumentar os lembretes.

Em relação ao roteamento de modelos, a Coinbase pré-processa prompts em fluxos personalizados e roteia tarefas para o modelo mais adequado com base na taxa de acerto de cache e no preço do modelo. Por exemplo, a fase de planejamento pode exigir um modelo de fronteira, mas usar um modelo de fronteira na fase de execução pode ser excessivo. Ele acredita que, no futuro, os humanos não devem escolher o modelo; a IA pode fazer isso automaticamente.

Armstrong também disse que a falta de acerto de cache é a maneira mais fácil de aumentar os custos. Todas as solicitações da Coinbase são conscientes de cache para reutilizar o cache quente sempre que possível. Por exemplo, após implementar corretamente o cache, a taxa de acerto de cache do LibreChat aumentou de 5% para 60%. Além disso, a Coinbase também exige que os engenheiros mantenham o contexto enxuto, incluindo iniciar novas sessões ao trocar de tarefa, reduzir o escopo do contexto de arquivos e desconectar ferramentas não utilizadas. O objetivo não é suprimir o uso de IA, mas construir uma infraestrutura que suporte o crescimento exponencial. Com essas práticas, a Coinbase reduziu os gastos com IA quase pela metade, enquanto o uso de tokens continua crescendo.