遞迴式自我改進的臨界點：Anthropic 為何密切關注 AI 發展閉環

Anthropic 警告稱，人工智慧可能正接近這樣一個階段：AI 系統將大幅加速更強大 AI 模型的開發。這個過程稱為遞迴式自我改進（RSI），指的是 AI 系統參與設計、訓練、評估及改進自身後繼模型。Anthropic 於 2026 年 11 月披露的資訊顯示，AI 在其研究與開發工作流程中扮演日益重要的角色，但該公司尚未認定任何現有模型已跨越內部 RSI 閾值。其潛在意義在於形成回饋循環：能力更強的模型能加速 AI 研究，而 AI 研究又可能產出能力更強的後繼模型。不過，AI 自主開發在技術層面仍存在不確定性，研究判斷力、算力可用性、安全驗證及人類監督仍是重要限制因素。

Anthropic 的警告：AI 可能加速自身發展

傳統上，人工智慧仰賴人類研究人員設計模型架構、準備訓練資料、進行實驗、評估結果，並決定將哪些改進納入後續版本。如今，AI 工具正逐步接手流程中的個別任務，尤其是在程式設計、除錯、資料分析及實驗執行方面。

Anthropic 目前警告稱，這項轉變可能帶來更深遠的影響。該公司在 2026 年 11 月 02 日提交的監管文件中披露，隨著其在研究與開發中越來越廣泛地使用 AI 系統，模型能力的提升速度可能超過其開發及執行相應安全措施的能力。該公司也表示，內部估算顯示，按照《負責任擴展政策》的定義，AI 可能很快達到由 AI 導致的進展顯著加速這一狀態。

這項區分十分重要。Anthropic 尚未認定任何現有模型已超過該閾值。該公司描述的是根據內部估算及對未來模型的預期而產生的潛在加速，而不是確認完全自主的 AI 開發已經開始。

這項警告建立在 Anthropic Institute 關於遞迴式自我改進的研究所提出的更廣泛論述之上。該機構描述了一條可能的發展路徑：AI 從協助完成個別程式設計任務，逐步發展為能夠執行程式碼、管理長期工作流程，並將工作委派給其他智能體的自主智能體。

Anthropic 也報告稱，其工程師目前每季交付的程式碼量約為 2021～2025 年期間的 8 倍。這項資料顯示，AI 輔助開發能夠改變組織的生產力，但程式碼產出增加本身，並不能證明 AI 能夠獨立設計及建構自身的後繼模型。

核心問題在於，用於開發 AI 的技術本身可能日益自動化，進而縮短每一代新模型的開發時間。

遞迴式自我改進如何運作

遞迴式自我改進描述的是這樣一個過程：AI 系統參與改進產生自身能力的技術。該系統不再只是回應指令或完成任務，而是參與創造更強大 AI 系統的研究與開發週期。

簡化後的開發週期包含以下幾個階段：

1. 研究與設計：識別現有模型的限制，並針對架構、訓練方法或資料策略提出改進方案；
2. 實施：撰寫程式碼、設定基礎設施並準備訓練流程；
3. 實驗：進行訓練實驗、評估模型效能並比較不同方法；
4. 分析：解讀結果、識別弱點，並決定應保留哪些變更；
5. 迭代：利用研究結果開發能力更強的模型，或改進現有系統的下一個版本。

AI 已經能夠參與其中多個階段。程式設計智能體可以修改軟體、執行測試並調查錯誤。研究智能體可以整理技術論文、產生假設並分析實驗結果。

當這些能力彼此連結時，可能產生更深遠的影響。如果 AI 系統能夠獨立提出實驗方案、執行實驗、評估結果，並利用研究結果改進後繼模型，那麼它可能開始將開發流程中的相當大一部分工作自動化。

之後可能形成遞迴循環：

能力更強的 AI → 更快的研究與開發 → 改進後的後繼模型 → 更強的研究能力 → AI 進一步改進。

這正是人們擔心 AI 進展可能超出傳統開發模式預期速度的原因。

不過，遞迴式自我改進存在不同層級。AI 協助軟體開發，並不等同於自主建立模型。在人類指導下執行實驗的系統，也不同於能夠獨立選擇研究目標、設計後繼模型、訓練該模型並驗證其行為的系統。

這一點十分重要，因為有關 RSI 的討論有時會將這些不同能力統稱為同一個概念。

AI 開發為何可能進入回饋循環

潛在的加速來自 AI 能力與研究生產力之間的關係。

開發前沿模型需要大量工程與研究工作。工程師需要建構訓練基礎設施、最佳化分散式運算系統並解決軟體問題。研究人員則需要決定進行哪些實驗、解讀結果，並判斷哪些方法值得繼續推進。

能夠執行這些任務的 AI 系統，可能增加研究團隊在特定時間內能夠進行的實驗數量，同時減少在例行實施與除錯上花費的時間。

Anthropic 的研究描述了 AI 系統能夠可靠完成的任務時長所呈現的更廣泛趨勢。該公司的分析顯示，模型能夠處理的任務時長大約每 4 個月翻倍，而此前的趨勢約為每 7 個月翻倍。這是該公司分析中觀察到的趨勢，並不代表未來能力一定會以相同速度持續成長。

如果這項改進持續下去，AI 系統可能能夠處理日益複雜的研究工作流程。目前需要人類花費數天完成的任務，最終可能由自主智能體處理，讓研究人員能夠同時監督更多實驗。

這種影響可能超越軟體開發領域。能力更強的研究智能體可能有助於探索新演算法、最佳化訓練流程、提高硬體利用率，並識別現有模型的弱點。

然而，加速並不一定代表智慧程度會無限呈指數級成長。研究進展取決於多種資源，包括運算能力、電力、高品質資料、專用硬體，以及可靠評估方法的可用性。

即使 AI 將大量智力工作自動化，物理與組織層面的限制仍可能決定新模型開發及部署的速度。

實現完全自主 AI 研究的技術障礙

從 AI 輔助開發過渡到完全自主的自我改進，需要解決多個棘手的技術問題。

第一個問題是研究判斷力。AI 系統可以執行定義明確的實驗並分析實驗結果，但判斷哪些問題值得關注，則是另一種能力。研究需要發現有意義的問題、區分有前景的結果與誤導性結果，並識別某種既有方法何時已經達到極限。

第二個問題是評估的可靠性。能夠產生程式碼或提出新訓練方法的模型，無法自動判斷結果是否正確、安全，或確實具備更強能力。可靠的評估需要獨立測試、可重現的實驗，以及能夠發現標準基準測試可能無法呈現的故障的方法。

第三個問題是基礎設施。訓練先進模型需要大量運算資源、專用加速器、高速網路及充足電力。能力更強的 AI 研究智能體可能透過產生更多實驗及開發工作負載，進一步增加對這些資源的需求。

第四個問題是，隨著系統能力增強，如何維持對齊性與安全性。如果 AI 系統參與建構其後繼模型，開發者就必須了解其目標、行為及潛在故障模式在這個過程中如何傳遞或發生變化。

這些障礙表示，遞迴式自我改進並不只是讓 AI 模型撰寫更多程式碼。它需要一個能夠進行研究、實施、實驗、評估並接受可靠監督的相互連結系統。

人類監督為何可能成為瓶頸

AI 輔助研究的一項較不明顯影響是，自動化個別任務可能會將瓶頸轉移到開發流程的其他環節。

這可以透過阿姆達爾定律來理解。阿姆達爾定律是電腦科學中的一項原理，用於描述一個流程的整體速度會受到無法加速的環節限制。

例如，如果 AI 智能體產生程式碼的速度遠快於人類工程師審查程式碼的速度，那麼程式碼審查就會成為限制因素。除非審查流程也變得更有效率，否則進一步提升程式碼產生能力，可能只會帶來逐步遞減的改進。

AI 研究中也可能出現相同問題。智能體產生假設、進行實驗並產出結果的速度，可能快於研究人員評估這些結果的速度。此時，瓶頸就會從進行實驗轉移到判斷哪些結果可靠，以及哪些研究方向值得投入額外資源。

因此，人類監督不只是批准 AI 的輸出結果，也包括設定目標、核查假設、識別意外行為，並確保開發決策始終符合安全要求。

Anthropic 表示，即使技術能力最終成為可能，該公司也不預期能在缺乏有意義的人類監督或理解的情況下，安全地使用 Claude 完全自主地設計及建構後續幾代前沿模型。

這項立場凸顯了自動化與控制之間的重要差異。開發流程可以日益自動化，但人類仍可能需要保留對關鍵決策的主導權。

挑戰在於，如何確保人類審查人員擁有足夠的時間、技術理解能力及獨立驗證工具，以有效履行這項職責。

遞迴式自我改進對 AI 安全與治理代表什麼

如果 AI 系統開始更大程度地參與自身開發，安全實務可能需要與技術能力同步發展。

傳統模型評估通常側重於系統在某一特定開發階段的行為。遞迴式改進引入了一個更具動態性的問題：隨著 AI 系統參與模型開發，未來模型的能力與風險可能迅速發生變化。

這會帶來多項治理挑戰。

首先，評估流程必須跟上開發速度。如果新模型的產出速度快於測試速度，那麼在模型部署前，安全審查可能已經不完整或過時。

其次，開發者需要更完善的方法來監控自動化研究工作流程。這包括追蹤智能體進行了哪些實驗、修改了哪些程式碼、存取了哪些資源，以及其行為是否仍處於獲准範圍內。

第三，獨立驗證的重要性日益提高。企業不能完全依賴 AI 系統自身評估其能力或安全性。外部測試、可重現的證據及人工審查可以提供額外的檢查。

最後，如果進展速度開始超過單一組織管理其後果的能力，AI 開發者與政策制定者之間的協調可能變得更加重要。Anthropic 此前曾倡議建立相關機制，讓前沿 AI 開發能在協調一致且可驗證的條件下放緩或暫停。

不過，放緩也會帶來實際挑戰。如果只有部分開發者減少研究活動，而其他開發者繼續推進，那麼整體效果可能有限。有效協調需要可信的監測、共同預期，以及主要組織的參與。

遞迴式自我改進也可能帶來重大益處。能力更強的研究系統可能加速科學發現、提升軟體安全性、支援醫學研究，並協助解決複雜的工程問題。治理的核心問題在於，如何在維持對日益自主的開發系統進行充分控制的同時，取得這些益處。

結論

Anthropic 最新披露的資訊凸顯了 AI 開發可能出現的一項轉變：人工智慧不再只是由研究人員建構的產品，也日益成為用於建構後續 AI 系統的工具。

遞迴式自我改進描述了一種可能性：這個過程最終可能形成回饋循環，每一代模型都參與開發能力更強的後繼模型。Anthropic 的警告顯示，這種可能性或許比部分機構預期得更早到來，但該公司尚未認定其現有模型已跨越內部 RSI 閾值。

關鍵問題在於，AI 系統能否形成自主推進所需的研究判斷力，運算能力與基礎設施能否支援更快的實驗，以及安全評估能否跟上日益自動化的開發進程。

AI 的未來不僅取決於模型能力將達到何種程度，也取決於人類能否持續理解、驗證及治理參與建構這些模型的系統。