Grok 4.5 登頂騰訊混元 Agent 耐力榜,超過六成任務無需模型即可完成

robot
摘要生成中
根據 Beating 監測,騰訊混元團隊聯合多所高校發布 LHTB,專門測試 AI Agent 能否在終端機中持續完成複雜任務。

基準包含 46 項任務,涵蓋軟體工程、實驗復現、科學計算和多模態分析等領域。每項最長運行 90 分鐘,通常需要連續執行數百步。

LHTB 不只看最終成敗。任務完成一部分,也會依照實際進度給分。隱藏驗證器會檢查檔案、測試結果和程式輸出,Agent 自稱完成不算。

論文首版測試了 15 個模型。GPT-5.5 完成 7 項,排名第一。每個模型執行一項任務,平均消耗約 990 萬 Token,耗時約 85 分鐘。

目前公開結果已擴至 20 個模型。Grok 4.5 以平均得分 0.505 登頂,完成 13 項。46 項任務中,仍有 29 項沒有任何模型達到完成標準。

多數 Agent 能完成部分步驟,卻經常耗盡 90 分鐘,或在任務尚未完成時提前收工,無法把複雜任務真正做完。
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆