Modelo de código aberto + roteamento inteligente é uma jogada mesmo forte, reduzindo os custos de IA para metade enquanto permite um crescimento exponencial no uso. A operação do Brian Armstrong vale a pena copiar.

Wu soube que o CEO da Coinbase, Brian Armstrong, afirmou que a empresa reduziu quase para metade os gastos com IA empresarial através da otimização da infraestrutura, enquanto a utilização de tokens de IA continua a crescer exponencialmente.
As suas principais medidas de redução de custos incluem: utilizar modelos de código aberto como o GLM 5.2 e o Kimi 2.7 como opções padrão para o gateway interno de LLM, encaminhar de forma inteligente as tarefas para o modelo com melhor relação custo-benefício e aumentar significativamente a taxa de acerto da cache de ferramentas como o LibreChat de 5% para 60%.
Armstrong enfatizou que o objetivo de gerir os custos de IA não é limitar a utilização, mas sim tornar o crescimento exponencial sustentável através da redução do desperdício.