Modelo de código aberto + roteamento inteligente + cache três truques, os custos de IA da Coinbase foram reduzidos pela metade, Brian Armstrong compartilhou isso, vale a pena copiar.

A Coinbase informou que o CEO Brian Armstrong compartilhou práticas de manter os gastos com IA estáveis ​​em meio ao crescimento exponencial do uso de tokens. A empresa não adotou medidas restritivas, como limites de uso, mas sim otimizou modelos padrão, roteamento inteligente e estratégias de cache para reduzir custos e aumentar a eficiência: em termos de modelos padrão, introduziu modelos de pesos abertos como GLM 5.2 e Kimi 2.7 para substituir modelos caros e gerais, utilizando mecanismos de roteamento para combinar modelos com base nas necessidades das tarefas, utilizando pré-processamento de cache e gerenciamento de sessões de tarefas para reduzir o desperdício de tokens (a taxa de acertos de cache aumentou de 5% para 60%). Graças a essas otimizações, os gastos com IA da Coinbase foram quase reduzidos pela metade, enquanto o uso de tokens continuou crescendo.