A Coinbase está a jogar bem no jogo da redução de custos e aumento de eficiência: a abrir modelos de código aberto, a fazer roteamento inteligente, a aumentar a taxa de acerto da cache de 5% para 60% — um caso de estudo de manual de infraestrutura de IA.

A Coinbase, através do CEO Brian Armstrong, anunciou na plataforma X que, ao otimizar as configurações padrão, o roteamento e as estratégias de cache, reduziu os gastos com IA em quase 50% face ao crescimento contínuo do uso de tokens. As medidas específicas incluem: mudar o modelo padrão para modelos de pesos abertos como GLM 5.2 e Kimi 2.7, sendo que 91% dos funcionários nunca atingiram o limite de utilização; pré-processar prompts no sistema personalizado e roteá-los automaticamente para o modelo mais adequado, realizando um tratamento diferenciado entre tarefas de planeamento e execução; aumentar a taxa de acerto do cache, com o LibreChat a subir de 5% para 60%; simplificar a gestão de contexto, iniciando novas sessões ao alternar tarefas e reduzindo o âmbito do contexto dos ficheiros; e melhorar a visibilidade dos gastos, permitindo que os engenheiros escolham livremente os modelos, mas tendo em conta o impacto correspondente.