AGI 到底來了嗎?新一代 AI 基準測試顯示,還遠未達到

簡要

  • ARC-AGI-3 揭示了人工通用智能(AGI)聲稱與現實之間的巨大差距,頂尖AI模型的得分都低於1%,而人類則能達到完美表現。
  • 這個基準測試真正考驗的是泛化能力——要求代理在未知環境中探索、規劃並從零學習,而非回憶訓練過的模式。
  • 儘管業界炒作不斷,目前的AI系統仍遠未達到AGI,缺乏即使是年幼人類也自然展現的推理與適應能力。

Nvidia執行長黃仁勳上週在Lex Fridman的播客中直言:「我認為我們已經實現了AGI。」兩天後,AI研究中最嚴格的測試推出了最新的人工通用智能基準——每個前沿模型的得分都低於1%。

ARC獎基金會本週發布了ARC-AGI-3,結果令人震驚。谷歌的Gemini 3.1 Pro以0.37%的成績領先。OpenAI的GPT-5.4得分0.26%。Anthropic的Claude Opus 4.6取得0.25%,而xAI的Grok-4.20則完全零分。人類則在所有環境中都能解決問題,達到100%。

這不是一個小測驗或程式設計考試,甚至不是超難的博士級問題。ARC-AGI-3是前所未有的全新挑戰。

這個基準由François Chollet和Mike Knoop的基金會建立,他們搭建了一個內部遊戲工作室,從零創建了135個原創互動環境。其理念是讓AI代理進入一個陌生的類遊戲世界,沒有任何指示、沒有明確目標,也沒有規則描述。代理必須探索、理解規則、制定計劃並執行。

如果你覺得這像是五歲兒童也能做到的事情,那你已經開始理解問題所在。如果你想知道自己是否比AI更厲害,可以點擊這個連結玩測試中的遊戲。我們試了一個,起初很奇怪,但幾秒鐘後就能很快掌握。

這也是“G”在AGI中最清楚的代表。當你進行泛化時,你能在未經訓練的情況下創造新知識(理解一個奇怪遊戲的玩法)。

之前的ARC版本測試的是靜態視覺拼圖——展示一個圖案,預測下一個。起初很難。後來實驗室投入大量計算資源和訓練,讓基準幾乎無法突破。2019年推出的ARC-AGI-1,主要測試訓練和推理模型。ARC-AGI-2持續約一年,直到Gemini 3.1 Pro達到77.1%。實驗室非常擅長在可訓練的基準上達到飽和。

第3版專門設計來避免這種情況。135個環境中,有55個半私有用於API測試,55個完全封閉用於比賽,沒有任何資料集可以記憶。你無法用暴力破解從未見過的遊戲邏輯。

得分也不是簡單的合格/不合格。ARC-AGI-3採用基金會稱為RHAE(相對人類行動效率)的評分標準。基準是第二佳的首次人類表現。若AI行動次數是人類的十倍,得分僅為1%,而非10%。公式會將低效率的懲罰平方放大。漫無目的地閒逛、倒退、猜測答案都會受到嚴厲懲罰。

在為期一個月的開發者預覽中,表現最佳的AI代理得分為12.58%。通過官方API測試的前沿大型語言模型(LLMs),沒有使用自定義工具,幾乎無法突破1%。普通人類在沒有任何訓練和指示的情況下,解決了所有135個環境。如果這是標準,那麼目前的模型還遠遠達不到。

這裡有一個真正的方法論爭議。ARC的報告指出,由杜克大學打造的自定義測試工具,曾將Claude Opus 4.6在一個名為TR87的單一環境變體中,從0.25%提升到97.1%。但這並不代表Claude在整個ARC-AGI-3上的得分就是97.1%;其官方基準分仍是0.25%,但這一變化值得注意。

官方基準是輸入JSON代碼,而非視覺資料。這可能是方法上的缺陷,或是證明當今模型在處理人類友好資訊方面比原始結構化數據更擅長。Chollet的基金會已承認這個爭議,但並未改變格式。

“框架內容感知和API格式並不是影響前沿模型在ARC-AGI-3上表現的限制因素,”該論文寫道。換句話說,他們似乎拒絕模型因“看不懂”任務而失敗的說法,認為感知已經足夠——真正的差距在於推理和泛化能力。

當這個AGI現實檢測結果出爐時,正值一週內炒作熱度全開。除了黃仁勳的評論外,Arm宣布其新數據中心芯片為“AGI CPU”。OpenAI的Sam Altman表示他們“基本上已經打造出了AGI”,微軟也在推廣一個專注於打造ASI(超人工智能)的實驗室:這是AGI實現後的進化版本。這個詞被濫用到似乎只要商業上方便,就可以隨意擴展。

Chollet的立場則更為簡單。如果一個普通人沒有任何指示就能做到,而你的系統做不到,那就不是AGI——你擁有的只是一個需要大量幫助的昂貴自動補全工具。

ARC獎2026年將提供200萬美元獎金,分為三個比賽賽道,全部在Kaggle上舉行。每個獲勝方案都必須開源。目前來看,這些機器還遠未達到標準。

每日簡報新聞

每天一開始,獲取最新頭條新聞、原創專題、播客、影片等內容。

你的電子郵件

立即訂閱!

XAI3.50%
GROK0.80%
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆
  • 已置頂