Modelo de código abierto + enrutamiento inteligente + tres hachas de caché, los costos de IA de Coinbase se redujeron a la mitad, vale la pena copiar el consejo de Brian Armstrong.

COIN-0,57%
Ver original
CoinNetwork
币界网消息,Coinbase CEO Brian Armstrong发文分享了在代币使用量指数级增长背景下保持AI开支稳定的实践经验。他表示,公司并未采取设置使用上限等限制手段,而是通过优化默认模型、智能路由与缓存策略来实现降本增效:在默认模型方面,引入GLM 5.2和Kimi 2.7等开放权重模型以替代昂贵的通用模型;通过路由机制根据任务需求匹配模型;利用缓存预处理与任务会话管理减少Token浪费(缓存命中率从5%提升至60%)。得益于这一系列优化,Coinbase的AI支出已近乎减半,同时Token使用量仍保持增长。
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado