2026-11-03 03:49:44
Anthropic 警告,AI 可能很快進入遞迴式自我改進階段,恐加速發展至人類無法察覺的程度
根據其於 11 月 2 日更新的首次公開募股申報文件,Anthropic 警告,AI 可能很快跨越遞迴式自我改進(RSI)的關鍵門檻,進而大幅加快 AI 開發速度。該公司指出兩項觸發條件:AI 能以相近成本完成整個研究團隊的工作,或至少將 AI 進展速度提升至原先預估的兩倍。 Anthropic 的 Claude 已參與撰寫程式碼、執行實驗及處理訓練資料,以開發更強大的下一代模型,形成回饋循環,使新模型進一步加快後續研究。隨著 AI 越來越深入參與自身開發,模型能力的成長速度可能超越安全評估、對齊研究及防護措施的更新速度。該公司正考慮修改安全政策,以確保關鍵開發流程仍由人類監督與控制。