吴说获悉,Coinbase CEO Brian Armstrong 发文表示,公司通过优化基础设施,已将企业 AI 支出削减了近一半,同时 AI 代币使用量仍在指数级增长。其核心降本措施包括:将 GLM 5.2 和 Kimi 2.7 等开源模型作为内部 LLM 网关的默认选项,通过智能路由为任务匹配最具性价比的模型将 LibreChat 等工具的缓存命中率从 5% 大幅提升至 60% 。Armstrong 强调,管理 AI 成本的目标不是限制使用,而是通过减少浪费让指数级增长变得可持续。



Traducción al español:

Según Wu Shuo, el CEO de Coinbase, Brian Armstrong, declaró que la empresa ha reducido casi a la mitad sus gastos en IA empresarial mediante la optimización de su infraestructura, mientras que el uso de tokens de IA sigue creciendo exponencialmente. Las medidas clave de reducción de costos incluyen: establecer modelos de código abierto como GLM 5.2 y Kimi 2.7 como opción predeterminada para la puerta de enlace interna de LLM, emparejar tareas con los modelos más rentables mediante enrutamiento inteligente, y aumentar la tasa de aciertos de caché de herramientas como LibreChat del 5% al 60%. Armstrong enfatizó que el objetivo de gestionar los costos de IA no es limitar su uso, sino hacer que el crecimiento exponencial sea sostenible reduciendo el desperdicio.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • 7
  • 2
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
MechanicalHummingbird
· hace8h
GLM 5.2 como predeterminado, esta ola de modelos nacionales que salen al extranjero ha sido verificada, ¿verdad?
Ver originalResponder0
ElevatorMeme
· hace15h
Crecimiento exponencial + reducción de costos a la mitad, el equipo de infraestructura de IA de Coinbase podría vender cursos.
Ver originalResponder0
GateUser-2bbf8435
· hace15h
Brian tiene una idea peculiar, no es reducir el presupuesto sino reducir el desperdicio, el uso de IA se duplica y el costo se reduce, eso es verdadera reducción de costos y aumento de eficiencia.
Ver originalResponder0
GateUser-ffe7bee5
· hace15h
Del 5% al 60%, esta optimización de caché parece que ha dominado la ingeniería de prompts.
Ver originalResponder0
GateUser-870b5e71
· hace15h
¿Hay alguna solución de código abierto para el caché de LibreChat? Quiero copiar el trabajo.
Ver originalResponder0
FragmentedSilverStarMap
· hace15h
60% de tasa de aciertos de caché subió desde 5%, esta mejora me da envidia, nosotros internamente todavía estamos luchando en 20%.
Ver originalResponder0
SunshineCollector
· hace15h
Modelos de código abierto + enrutamiento inteligente, esta estrategia es realmente dura. GLM y Kimi se establecen directamente como predeterminados, y el dinero ahorrado se puede usar para más rondas de entrenamiento.
Ver originalResponder0