Armstrong esta onda de operações de redução de custos e aumento de eficiência é realmente hardcore, a taxa de acerto de cache subiu de 5% para 60%, os gastos com IA foram reduzidos pela metade, o Token continua subindo, vale a pena estudar.

Armstrong compartilha práticas para reduzir custos e aumentar eficiência em meio ao aumento no uso de tokens: sem limitações, controlando custos através da otimização do modelo padrão, roteamento inteligente e estratégias de cache. Substituindo modelos caros e de uso geral por modelos de pesos abertos como GLM 5.2, Kimi 2.7, roteando conforme a tarefa, cache de pré-processamento e gerenciamento de sessão para reduzir o desperdício de tokens, com a taxa de acerto aumentando de 5% para 60%. Como resultado, os gastos com IA foram quase reduzidos pela metade, enquanto o uso de tokens continua crescendo.