Empresas tecnológicas estadounidenses se están volviendo silenciosamente hacia los modelos de IA chinos, con Coinbase liderando el uso de GLM y Kimi.

Las empresas tecnológicas estadounidenses están integrando silenciosamente modelos de IA de código abierto chinos en su infraestructura de producción. A medida que los costos de los servicios de los mejores modelos estadounidenses siguen aumentando, empresas como Coinbase están adoptando modelos de código abierto chinos como opción predeterminada, reduciendo drásticamente los gastos de IA sin suprimir el uso.

El CEO de Coinbase, Brian Armstrong, publicó en la plataforma X el viernes por la noche que la empresa había establecido los recién lanzados GLM 5.2 de Zhipu y Kimi 2.7 de Beijing Moonshot AI como modelos predeterminados para los ingenieros a través de su puerta de enlace LLM interna. Armstrong afirmó que, combinando optimización de enrutamiento y mejoras de caché, los gastos de IA de Coinbase se han reducido "casi a la mitad", mientras que el uso de tokens sigue creciendo a un ritmo exponencial.

La ventaja de costos de los modelos de código abierto chinos se pone sobre la mesa

Armstrong señaló claramente en su publicación que el 91% de los ingenieros nunca había alcanzado el límite de uso original, por lo que Coinbase no optó por reducir el límite ni agregar alertas de consumo, sino que se dirigió a "modelos predeterminados más baratos".

GLM 5.2 proviene de Zhipu, y Kimi 2.7 de Beijing Moonshot AI, ambos son modelos de pesos abiertos. Armstrong indicó que estos modelos se despliegan en escenarios de tareas rutinarias, mientras que para tareas que requieren planificación compleja, los ingenieros aún pueden optar por modelos de vanguardia. Su lógica es que usar modelos de primer nivel para tareas de ejecución a menudo es "matar moscas a cañonazos".

En la revisión de código, se adopta una estrategia de múltiples modelos en paralelo, permitiendo que diferentes modelos verifiquen los resultados entre sí para mantener los estándares de calidad.

Reestructuración de infraestructura en tres niveles impulsa la reducción de costos

Armstrong enumeró tres medidas principales.

La primera es el enrutamiento inteligente: en un marco de programación personalizado, el sistema preprocesa las indicaciones, combina la tasa de acierto de caché y el precio del modelo, y distribuye automáticamente las tareas al modelo más adecuado y económico. Dijo que el objetivo final es que la IA, no los humanos, realice la selección del modelo.

La segunda es el almacenamiento en caché activo: Coinbase exige que todas las solicitudes tengan conciencia de caché, reutilizando al máximo las cachés existentes. Con LibreChat como ejemplo, después de implementar correctamente el mecanismo de caché, la tasa de acierto de caché saltó del 5% al 60%.

La tercera es la simplificación del contexto: Armstrong sugiere iniciar una nueva sesión al cambiar de tarea, reducir el alcance del contexto del archivo y desconectar las herramientas no utilizadas. Enfatizó que el objetivo no es reducir la cantidad total de tokens utilizados, sino reducir los "tokens desperdiciados".

Prioridad a la eficiencia, no a suprimir el uso

Armstrong calificó esta reducción de costos como una condición previa para ampliar la escala de adopción de IA, no como una restricción. Dijo que los ingenieros aún pueden usar libremente cualquier cantidad de tokens y cualquier modelo, pero la empresa ha visualizado los datos de uso y ha vinculado el uso con el impacto comercial: "Cuanto más gastas, más impacto esperamos".

No reveló cifras absolutas de gasto. Pero desde el punto de vista estructural, lograr una reducción de casi la mitad del gasto mientras el uso crece exponencialmente significa que Coinbase ha logrado hasta cierto punto desacoplar el consumo del costo.

La conclusión de Armstrong es que esta metodología es universal y cualquier empresa puede adoptarla para lograr una expansión sostenible del uso de IA sin que el costo se convierta en un techo.

Aviso de riesgo y cláusula de exención de responsabilidad

        El mercado tiene riesgos, invertir con precaución. Este artículo no constituye un consejo de inversión personal y no considera los objetivos de inversión, situación financiera o necesidades particulares de ningún usuario. Los usuarios deben considerar si cualquier opinión, punto de vista o conclusión en este artículo se ajusta a su situación específica. Cualquier inversión basada en esto es bajo su propia responsabilidad.