A Coinbase está arrasando na redução de custos e aumento de eficiência: abrindo modelos de código aberto, fazendo roteamento inteligente, elevando a taxa de acerto de cache de 5% para 60%, um caso de livro didático para infraestrutura de IA.

Mensagem do Coin World: Brian Armstrong, CEO da Coinbase, postou na plataforma X que a Coinbase reduziu os custos de IA em quase 50% através da otimização das configurações padrão, roteamento e estratégias de cache, mesmo com o aumento contínuo no uso de tokens. As medidas específicas incluem: alternar o modelo padrão para modelos de peso aberto como GLM 5.2 e Kimi 2.7; 91% dos funcionários nunca atingiram o limite de uso; pré-processar prompts em sistemas personalizados e roteá-los automaticamente para o modelo mais adequado, permitindo tratamento diferenciado entre tarefas de planejamento e execução; aumentar a taxa de acerto do cache, com a taxa de acerto do LibreChat subindo de 5% para 60%; simplificar o gerenciamento de contexto, iniciando novas sessões ao alternar tarefas e reduzindo o escopo do contexto de arquivos; aumentar a visibilidade dos gastos, permitindo que engenheiros escolham livremente os modelos, mas assumindo o impacto correspondente esperado.