Открытая модель + интеллектуальная маршрутизация — это действительно мощный ход: сокращает затраты на ИИ вдвое и позволяет экспоненциально увеличить использование. Операция Брайана Армстронга заслуживает того, чтобы её скопировать.

Посмотреть Оригинал
WuSaidBlockchainW
吴说获悉,Coinbase CEO Brian Armstrong 发文表示,公司通过优化基础设施,已将企业 AI 支出削减了近一半,同时 AI 代币使用量仍在指数级增长。其核心降本措施包括:将 GLM 5.2 和 Kimi 2.7 等开源模型作为内部 LLM 网关的默认选项,通过智能路由为任务匹配最具性价比的模型将 LibreChat 等工具的缓存命中率从 5% 大幅提升至 60% 。Armstrong 强调,管理 AI 成本的目标不是限制使用,而是通过减少浪费让指数级增长变得可持续。
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено