谷歌DeepMind的新AI代理像人類一樣學習、適應和玩遊戲

簡而言之

• 該系統使用了谷歌的Gemini模型來推理目標，解釋其計劃，並在不熟悉的遊戲中行動。
• SIMA 2通過自主遊戲學習了新技能，並適應了由Genie 3剛剛創造的世界。
• DeepMind計劃爲開發者和學者提供有限的研究預覽。

Decrypt的藝術、時尚和娛樂中心。

深入了解 SCENE

谷歌DeepMind於周四推出了SIMA 2——一款新的人工智能代理，該公司聲稱它在虛擬世界中表現得像一個“伴侶”。隨着SIMA 2的發布，DeepMind旨在超越簡單的屏幕操作，朝着能夠進行計劃、自我解釋和通過經驗學習的人工智能發展。

"這是朝着人工通用智能(AGI)邁出的重要一步，對未來的機器人技術和人工智能具身化有重要影響，"該公司在其網站上表示。

SIMA的第一個版本(可擴展可指令多世界代理)於2024年3月發布，通過觀察屏幕並使用虛擬鍵盤和鼠標控制學習了數百個基本技能。谷歌表示，新版本的SIMA將事情提升到一個新水平，讓AI能夠自主思考。

SIMA 2 是我們最強大的虛擬 3D 世界 AI 代理。👾🌐

由Gemini驅動，它不僅僅是遵循基本指令，還能在交互環境中進行思考、理解和採取行動——這意味着你可以通過文本、語音，甚至圖像與它對話。以下是如何 🧵 pic.twitter.com/DuVWGJXW7W

— 谷歌深度思維 (@GoogleDeepMind) 2025年11月13日

<br>

“SIMA 2 是我們最強大的虛擬 3D 世界 AI 代理，” 谷歌 DeepMind 在 X 上寫道。“由 Gemini 驅動，它不僅僅是執行基本指令，還能在交互環境中進行思考、理解和採取行動——這意味着你可以通過文本、語音甚至圖像與它交談。”

通過使用Gemini AI模型，谷歌表示SIMA可以解釋高級目標，討論它打算採取的步驟，並在遊戲中進行協作，達到原系統無法達到的推理水平。

DeepMind報告了在虛擬環境中更強的泛化能力，並且SIMA 2完成了更長、更復雜的任務，其中包括邏輯提示、屏幕上繪制的草圖和表情符號。

“由於這一能力，SIMA 2 在廣泛任務上的表現顯著接近人類玩家，” 谷歌寫道，並指出 SIMA 2 的任務完成率爲 65%，而 SIMA 1 爲 31%。

該系統還解讀指令並在由去年的另一個DeepMind項目Genie 3生成的全新3D世界中行動，該項目從單個圖像或文本提示創建互動環境。SIMA 2自我定位，理解目標，並在它在測試前幾分鍾才遇到的世界中採取有意義的行動。

“SIMA 2 現在在執行詳細指令方面更出色，即使是在它從未見過的世界裏，” 谷歌寫道。“它可以將一個遊戲中學到的概念，如 '挖礦'，轉移到另一個遊戲中的 '收獲'，—將相似任務之間的點連接起來。”

在學習了人類的示範後，研究人員表示，代理切換到了自我導向的遊戲，利用試錯法和Gemini生成的反饋來創建新的體驗數據，包括一個訓練循環，其中SIMA 2生成任務，嘗試這些任務，然後將自己的軌跡數據反饋到模型的下一個版本中。

雖然谷歌稱贊SIMA 2是人工智能的一次進步，但研究也指出了仍需解決的差距，包括在處理非常長的多步驟任務時遇到困難、在有限的記憶窗口內工作，以及面臨3D AI系統常見的視覺解讀挑戰。

盡管如此，DeepMind表示，該平台作爲一個測試平台，可以最終將技能遷移到機器人技術和導航中。

"我們的SIMA 2研究爲機器人應用提供了一條堅實的道路，並向現實世界的AGI邁出了又一步，"它說。