Coinbase juega muy bien con la reducción de costos y el aumento de eficiencia: corta modelos de código abierto, hace enrutamiento inteligente, la tasa de aciertos de caché pasó del 5% al 60%, un caso de libro de texto de AI infra.

Mensaje de Coinbase World, Brian Armstrong, CEO de Coinbase, publicó en la plataforma X que, al optimizar la configuración predeterminada, las rutas y las estrategias de caché, Coinbase ha reducido el gasto en IA en casi un 50% mientras el uso de tokens sigue creciendo. Las medidas específicas incluyen: cambiar el modelo predeterminado a modelos de peso abierto como GLM 5.2 y Kimi 2.7; el 91% de los empleados nunca había alcanzado el límite de uso; preprocesar indicaciones en sistemas personalizados y enrutarlas automáticamente al modelo más adecuado, logrando un procesamiento diferenciado de tareas de planificación y ejecución; mejorar la tasa de aciertos de caché, aumentando la tasa de aciertos de caché de LibreChat del 5% al 60%; simplificar la gestión del contexto, iniciando nuevas sesiones al cambiar de tarea y reduciendo el alcance del contexto de archivos; mejorar la visibilidad del gasto, permitiendo a los ingenieros elegir libremente modelos pero asumiendo el impacto correspondiente.