La operación de Armstrong para reducir costos y aumentar la eficiencia es realmente impresionante. La tasa de aciertos de caché pasó del 5% al 60%, los gastos en IA se redujeron a la mitad, y el Token sigue subiendo. Vale la pena estudiarlo.

Armstrong compartió su enfoque para reducir costos y aumentar la eficiencia en medio del aumento en el uso de tokens: sin límites, controlando los costos mediante la optimización del modelo predeterminado, el enrutamiento inteligente y las estrategias de caché. Adoptando modelos de pesos abiertos como GLM 5.2 y Kimi 2.7 para reemplazar modelos generales costosos, emparejando el enrutamiento por tarea, y reduciendo el desperdicio de tokens mediante el preprocesamiento en caché y la gestión de sesiones, la tasa de aciertos aumentó del 5% al 60%. Como resultado, el gasto en IA se redujo casi a la mitad, mientras que el uso de tokens sigue creciendo.