Coinbase ha reducido el gasto en IA casi a la mitad, y está intentando establecer modelos de pesos abiertos como GLM 5.2, Kimi 2.7 como opciones predeterminadas.

Noticias de BlockBeats, 27 de junio, el CEO de Coinbase, Brian Armstrong, publicó un mensaje diciendo que si se quiere mantener estable el gasto en IA mientras el uso de tokens crece exponencialmente, la clave no está en establecer fricciones de uso o recordatorios de gasto, sino en mejores modelos predeterminados, enrutamiento y mecanismos de caché. Coinbase está probando a través de una puerta de enlace LLM el uso predeterminado de modelos de peso abierto como GLM 5.2, Kimi 2.7, al mismo tiempo que alienta a los ingenieros a elegir el modelo adecuado según la tarea. Dijo que el 91% de los empleados nunca han alcanzado el límite de uso, por lo que la empresa no optó por reducir el límite y agregar recordatorios, sino que se pasó a modelos predeterminados de menor costo.

En cuanto al enrutamiento de modelos, Coinbase preprocesa las indicaciones en flujos personalizados y, según la tasa de aciertos de caché y el precio del modelo, enruta las tareas al modelo más adecuado. Por ejemplo, la fase de planificación puede requerir un modelo de vanguardia, pero usar un modelo de vanguardia en la fase de ejecución puede ser excesivo. Considera que en el futuro no deberían ser los humanos quienes elijan los modelos, sino que la IA puede hacerlo automáticamente.

Armstrong también dijo que los fallos de caché son la forma más fácil de aumentar los costos. Todas las solicitudes de Coinbase tienen capacidad de detección de caché para reutilizar el caché activo tanto como sea posible. Por ejemplo, después de implementar correctamente el caché, la tasa de aciertos de caché de LibreChat ha aumentado del 5% al 60%. Además, Coinbase también exige a los ingenieros mantener el contexto conciso, incluyendo abrir nuevas sesiones al cambiar de tarea, reducir el alcance del contexto del archivo, desconectar herramientas no utilizadas, etc. El objetivo no es suprimir el uso de IA, sino construir una infraestructura que pueda soportar un crecimiento exponencial. A través de estas prácticas, Coinbase ha reducido el gasto en IA a casi la mitad, mientras que el uso de tokens sigue creciendo.