Brian Armstrong: El gasto en IA de Coinbase se ha reducido casi a la mitad, mientras que el uso de tokens sigue creciendo.

robot
Generación de resúmenes en curso

吴说获悉,Coinbase CEO Brian Armstrong 发文分享了在代币使用量指数级增长背景下保持 AI 开支稳定的实践经验。Armstrong 表示,公司并未采取设置使用上限等限制手段,而是通过优化默认模型、智能路由与缓存策略来实现降本增效:在默认模型方面,引入 GLM 5.2 和 Kimi 2.7 等开放权重模型以替代昂贵的通用模型;通过路由机制根据任务需求匹配模型;利用缓存预处理与任务会话管理减少 Token 浪费(缓存命中率从 5% 提升至 60%)。得益于这一系列优化,Coinbase 的 AI 支出已近乎减半,同时 Token 使用量仍保持增长。

Wu se entera de que el CEO de Coinbase, Brian Armstrong, publicó un artículo compartiendo experiencias prácticas sobre cómo mantener estables los gastos de IA en medio de un crecimiento exponencial en el uso de tokens. Armstrong indicó que la empresa no adoptó medidas restrictivas como establecer límites de uso, sino que logró reducir costos y aumentar la eficiencia mediante la optimización de modelos predeterminados, enrutamiento inteligente y estrategias de caché: en cuanto a los modelos predeterminados, introdujeron modelos de pesos abiertos como GLM 5.2 y Kimi 2.7 para reemplazar costosos modelos generales; a través de mecanismos de enrutamiento, emparejan modelos según las necesidades de las tareas; utilizando preprocesamiento de caché y gestión de sesiones de tareas para reducir el desperdicio de tokens (la tasa de aciertos de caché aumentó del 5% al 60%). Gracias a esta serie de optimizaciones, los gastos de IA de Coinbase se han reducido casi a la mitad, mientras que el uso de tokens sigue creciendo.

Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • 5
  • 1
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
GateUser-d2b4d9c6
· hace2h
Sin límites + enrutamiento inteligente, esta idea merece ser copiada.
Ver originalResponder0
HotAirBalloonCrossingMountains
· hace2h
Token sube, gastos bajan, la jugada de Armstrong es de manual.
Ver originalResponder0
GateUser-673fb6fa
· hace2h
La relación calidad-precio del GLM 5.2 es realmente competitiva, también estamos cambiando.
Ver originalResponder0
BerryColdWallet
· hace2h
La tasa de aciertos de caché del 5% al 60% es increíble, eso es realmente reducir costos.
Ver originalResponder0
GateUser-94818fd0
· hace2h
Los modelos de peso abierto ahora son realmente atractivos, las grandes empresas de código cerrado están bajo presión.
Ver originalResponder0