9.6万token的中位数,这上下文窗口吃掉了整本盖茨比——智能体时代的推理成本被严重低估了

ME News
智能体工作负载悄然重塑推理经济
[ME AI]() 消息,智能体工作负载正在悄然重塑推理经济学。我们从SemiAnalysis的43.2万个真实编码智能体请求中提取数据,发现中位数并非3.2万或6.4万,而是9.6万输入token。作为参考,这意味着在你输入问题之前,模型已处理了超过《了不起的盖茨比》全文长度的文本。(1/3)🧵(来源:AiHot)
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论