根據 11 月 2 日更新的首次公開募股(IPO)申請文件,Anthropic 警告,AI 可能很快就會跨越遞迴自我改進(RSI)的關鍵門檻,從而可能大幅加速 AI 的發展速度。該公司指出兩個觸發條件:AI 以相當成本完成整個研究團隊的工作,或相較於先前的時間表,將 AI 進展推進至少兩倍。 Anthropic 的 Claude 已經參與撰寫程式碼、執行實驗和處理訓練資料,以開發更強大的下一代模型,形成一種回饋迴圈,讓新模型進一步加速後續研究。隨著 AI 更深入地參與自身開發,模型能力可能增長得比安全評估、對齊研究和保護措施的更新速度更快。該公司正考慮修改其安全政策,以確保關鍵開發流程仍處於人類監督與控制之下。