9.6萬token的中位數,這上下文窗口吃掉了整本蓋茨比——智能體時代的推理成本被嚴重低估了

查看原文
ME News
智能体工作負載悄然重塑推理經濟
[ME AI]() 消息,智能體工作負載正在悄然重塑推理經濟學。我們從SemiAnalysis的43.2萬個真實編碼智能體請求中提取數據,發現中位數並非3.2萬或6.4萬,而是9.6萬輸入token。作為參考,這意味著在你輸入問題之前,模型已處理了超過《了不起的蓋茨比》全文長度的文本。(1/3)🧵(來源:AiHot)
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆