Coinbase: ha reducido el gasto en IA en casi un 50% y está intentando adoptar por defecto modelos de pesos abiertos.

Noticias de Shenchao TechFlow, 27 de junio: El CEO de Coinbase, Brian Armstrong, publicó un artículo presentando los últimos avances de la empresa en la optimización de costos de IA.

Armstrong indicó que, a medida que el uso de IA y el consumo de tokens continúan creciendo, la clave para controlar los costos no es limitar el uso de los empleados o enviar recordatorios de presupuesto con frecuencia, sino optimizar la selección de modelos predeterminados, los mecanismos de enrutamiento de tareas y las estrategias de caché.

Reveló que Coinbase está probando modelos de pesos abiertos como GLM 5.2 y Kimi 2.7 como opciones predeterminadas a través de una puerta de enlace LLM interna, mientras aún permite a los ingenieros seleccionar otros modelos según las necesidades específicas de las tareas.

Los datos muestran que el 91% de los empleados de la empresa nunca han alcanzado el límite de uso de IA, por lo que Coinbase no optó por endurecer las cuotas, sino que mejoró la eficiencia general mediante soluciones de modelos de menor costo.

En cuanto al enrutamiento de modelos, Coinbase preprocesa las indicaciones y, combinando la tasa de aciertos de caché y los precios de los diferentes modelos, asigna automáticamente las tareas al modelo más adecuado.

Armstrong cree que las tareas complejas como la planificación y el razonamiento pueden requerir el apoyo de modelos de vanguardia, pero las tareas de ejecución no necesariamente necesitan invocar modelos de mayor costo.

En el futuro, el proceso de selección de modelos debería ser realizado más automáticamente por la IA, en lugar de depender de decisiones humanas.

Además, señaló que la tasa de aciertos de caché es uno de los factores importantes que afectan los costos de IA.

Coinbase ha incorporado un mecanismo de percepción de caché en el flujo de solicitudes para aumentar la tasa de reutilización de resultados históricos.

Tomando como ejemplo a LibreChat, después de optimizar la solución de caché, su tasa de aciertos de caché ha aumentado del 5% al 60%.

Armstrong también agregó que la empresa exige a los ingenieros mantener el contexto lo más conciso posible, incluyendo abrir nuevas sesiones al cambiar de tarea, reducir el alcance del contexto de los archivos y cerrar herramientas no utilizadas, para reducir el consumo innecesario de tokens.

Según reveló, a través de las medidas anteriores, Coinbase ha logrado reducir los gastos de IA en casi un 50%, mientras que el uso de tokens sigue creciendo.