Modelos de código aberto + roteamento inteligente + três estratégias de cache, os custos de IA da Coinbase foram reduzidos para metade, esta partilha de Brian Armstrong vale a pena copiar.

Notícias do CoinWorld, o CEO da Coinbase, Brian Armstrong, publicou um artigo partilhando experiências práticas sobre como manter estáveis os gastos com IA no contexto do crescimento exponencial do uso de tokens. Ele afirmou que a empresa não adotou medidas restritivas, como definir limites de utilização, mas sim otimizou o modelo predefinido, implementou roteamento inteligente e estratégias de cache para reduzir custos e aumentar a eficiência: no que diz respeito ao modelo predefinido, introduziu modelos de pesos abertos como GLM 5.2 e Kimi 2.7 para substituir modelos genéricos dispendiosos; através de um mecanismo de roteamento, combina modelos com base nas necessidades das tarefas; utiliza pré-processamento de cache e gestão de sessões de tarefas para reduzir o desperdício de tokens (a taxa de acerto de cache aumentou de 5% para 60%). Graças a esta série de otimizações, os gastos com IA da Coinbase foram quase reduzidos para metade, enquanto o uso de tokens continua a crescer.