递归式自我改进临界点：Anthropic 为何密切关注 AI 的发展闭环

Anthropic 警告称，人工智能可能正接近这样一个阶段：AI 系统将显著加速更强大 AI 模型的开发。这一过程被称为递归式自我改进（RSI），指的是 AI 系统参与设计、训练、评估和改进自身后继模型。Anthropic 于 2026 年 11 月披露的信息显示，AI 已在其研究与开发工作流中发挥日益重要的作用，但该公司尚未将任何现有模型认定为已越过内部 RSI 阈值。其潜在意义在于形成反馈循环：能力更强的模型能够加速 AI 研究，而 AI 研究又可能产出能力更强的后继模型。不过，AI 自主开发在技术层面仍存在不确定性，研究判断力、算力可用性、安全验证和人类监督仍是重要限制因素。

Anthropic 的警告：AI 可能加速自身发展

传统上，人工智能依赖人类研究人员设计模型架构、准备训练数据、开展实验、评估结果，并决定将哪些改进纳入后续版本。如今，AI 工具正逐步接管这一流程中的个别任务，尤其是在编程、调试、数据分析和实验执行方面。

Anthropic 目前警告称，这一转变可能带来更为深远的影响。该公司在 2026 年 11 月 02 日提交的监管文件中披露，随着其在研究与开发中越来越多地使用 AI 系统，模型能力的提升速度可能超过其开发和实施相应安全措施的能力。该公司还表示，内部估算表明，按照《负责任扩展政策》的定义，AI 可能很快达到由 AI 导致的进展显著加速这一状态。

这一区分十分重要。Anthropic 尚未认定任何现有模型已经超过该阈值。该公司描述的是基于内部估算以及对未来模型的预期而产生的潜在加速，而不是确认完全自主的 AI 开发已经开始。

这一警告建立在 Anthropic Institute 关于递归式自我改进的研究所提出的更广泛论述之上。该机构描述了这样一种发展路径：AI 从协助完成个别编程任务，逐步发展为能够运行代码、管理长期工作流并将工作委派给其他智能体的自主智能体。

Anthropic 还报告称，其工程师目前每季度交付的代码量约为 2021～2025 年期间的 8 倍。这一数据说明 AI 辅助开发能够改变组织的生产效率，但代码产出增加本身并不能证明 AI 可以独立设计和构建自身的后继模型。

核心问题在于，用于开发 AI 的技术本身可能日益自动化，从而缩短每一代新模型的开发时间。

递归式自我改进如何运作

递归式自我改进描述的是这样一种过程：AI 系统参与改进生成自身能力的技术。该系统不再只是响应指令或完成任务，而是参与创造更强大 AI 系统的研究与开发周期。

简化后的开发周期包含以下几个阶段：

1. 研究与设计：识别现有模型的局限，并针对架构、训练方法或数据策略提出改进方案；
2. 实施：编写代码、配置基础设施并准备训练流程；
3. 实验：开展训练实验、评估模型性能并比较不同方法；
4. 分析：解读结果、识别弱点，并确定应保留哪些改动；
5. 迭代：利用研究结果开发能力更强的模型，或改进现有系统的下一版本。

AI 已经能够参与其中多个阶段。编程智能体可以修改软件、执行测试并调查错误。研究智能体可以总结技术论文、生成假设并分析实验结果。

当这些能力彼此连接时，可能产生更为深远的影响。如果 AI 系统能够独立提出实验方案、执行实验、评估结果，并利用研究结果改进后继模型，那么它可能开始自动化开发流程中的相当大一部分工作。

随后可能形成递归循环：

能力更强的 AI → 更快的研究与开发 → 改进后的后继模型 → 更强的研究能力 → AI 进一步改进。

这正是人们担忧 AI 进展可能超出传统开发模式预期速度的原因。

不过，递归式自我改进存在不同层级。AI 协助软件开发，并不等同于自主创建模型。在人类指导下执行实验的系统，也不同于能够独立选择研究目标、设计后继模型、训练该模型并验证其行为的系统。

这一点十分重要，因为有关 RSI 的讨论有时会将这些不同能力统称为同一个概念。

AI 开发为何可能进入反馈循环

潜在的加速来自 AI 能力与研究生产力之间的关系。

开发前沿模型需要大量工程和研究工作。工程师需要构建训练基础设施、优化分布式计算系统并解决软件问题。研究人员则需要确定开展哪些实验、解读结果，并决定哪些方法值得继续推进。

能够执行这些任务的 AI 系统，可能增加研究团队在特定时间内可开展的实验数量，同时减少在常规实施和调试上花费的时间。

Anthropic 的研究描述了 AI 系统能够可靠完成的任务时长所呈现的更广泛趋势。该公司的分析表明，模型能够处理的任务时长大约每 4 个月翻一番，而此前的趋势约为每 7 个月翻一番。这是该公司分析中观察到的趋势，并不意味着未来能力一定会继续以相同速度增长。

如果这一改进持续下去，AI 系统可能能够处理日益复杂的研究工作流。目前需要人类花费数天完成的任务，最终可能由自主智能体处理，使研究人员能够同时监督更多实验。

这种影响可能超越软件开发领域。能力更强的研究智能体可能有助于探索新算法、优化训练流程、提高硬件利用率并识别现有模型的弱点。

然而，加速并不一定意味着智能水平会无限呈指数级增长。研究进展取决于多种资源，包括计算能力、电力、高质量数据、专用硬件以及可靠评估方法的可用性。

即使 AI 自动化了大量智力工作，物理和组织层面的限制仍可能决定新模型开发和部署的速度。

实现完全自主 AI 研究的技术障碍

从 AI 辅助开发过渡到完全自主的自我改进，需要解决多个棘手的技术问题。

第一个问题是研究判断力。AI 系统可以执行定义明确的实验并分析实验结果，但判断哪些问题值得关注，则是另一种能力。研究需要发现有意义的问题、区分有前景的结果与误导性结果，并识别某种既有方法何时已经达到极限。

第二个问题是评估的可靠性。能够生成代码或提出新训练方法的模型，无法自动判断结果是否正确、安全或确实更具能力。可靠的评估需要独立测试、可复现实验，以及能够发现标准基准测试中可能无法显现的故障的方法。

第三个问题是基础设施。训练先进模型需要大量计算资源、专用加速器、高速网络和充足电力。能力更强的 AI 研究智能体可能通过生成更多实验和开发工作负载，进一步增加对这些资源的需求。

第四个问题是，随着系统能力增强，如何维持对齐性与安全性。如果 AI 系统参与构建其后继模型，开发者就必须了解其目标、行为和潜在故障模式在这一过程中如何传递或发生变化。

这些障碍意味着，递归式自我改进并不只是让 AI 模型编写更多代码。它需要一个能够开展研究、实施、实验、评估并接受可靠监督的相互连接的系统。

人类监督为何可能成为瓶颈

AI 辅助研究一个不太明显的影响是，自动化个别任务可能会将瓶颈转移到开发流程的其他环节。

这可以通过阿姆达尔定律来理解。阿姆达尔定律是计算机科学中的一项原理，用于描述一个流程的整体速度会受到无法加速的环节限制。

例如，如果 AI 智能体生成代码的速度远快于人类工程师审查代码的速度，那么代码审查就会成为限制因素。除非审查流程也变得更加高效，否则进一步提高代码生成能力可能只会带来逐渐递减的改进。

AI 研究中也可能出现同样的问题。智能体生成假设、开展实验并产出结果的速度，可能快于研究人员评估这些结果的速度。此时，瓶颈就会从开展实验转移到判断哪些结果可靠，以及哪些研究方向值得投入额外资源。

因此，人类监督不仅是批准 AI 输出结果，还包括设定目标、核查假设、识别意外行为，并确保开发决策始终符合安全要求。

Anthropic 表示，即使技术能力最终成为可能，该公司也不预计在缺乏有意义的人类监督或理解的情况下，安全地使用 Claude 完全自主地设计和构建后续几代前沿模型。

这一立场凸显了自动化与控制之间的重要区别。开发流程可以日益自动化，但人类仍可能需要保留对关键决策的权威。

挑战在于，如何确保人类审查人员拥有足够的时间、技术理解能力和独立验证工具，以有效履行这一职责。

递归式自我改进对 AI 安全与治理意味着什么

如果 AI 系统开始更大程度地参与自身开发，安全实践可能需要与技术能力同步演进。

传统模型评估通常侧重于系统在某一特定开发阶段的行为。递归式改进引入了一个更具动态性的问题：随着 AI 系统参与模型开发，未来模型的能力和风险可能迅速发生变化。

这会带来多个治理挑战。

首先，评估流程必须跟上开发速度。如果新模型的产出速度快于测试速度，那么在模型部署前，安全审查可能已经不完整或过时。

其次，开发者需要更好的方法来监控自动化研究工作流。这包括跟踪智能体开展了哪些实验、修改了哪些代码、访问了哪些资源，以及其行为是否仍处于获批边界之内。

第三，独立验证的重要性日益提升。企业不能完全依赖 AI 系统自身对其能力或安全性的评估。外部测试、可复现证据和人工审查可以提供额外的检查。

最后，如果进展速度开始超过单个组织管理其后果的能力，AI 开发者与政策制定者之间的协调可能变得更加重要。Anthropic 此前曾倡导建立相关机制，使前沿 AI 开发能够在协调一致且可验证的条件下放缓或暂停。

不过，放缓也会带来实际挑战。如果只有部分开发者减少研究活动，而其他开发者继续推进，那么整体效果可能有限。有效协调需要可信的监测、共同预期以及主要组织的参与。

递归式自我改进也可能带来重大益处。能力更强的研究系统可能加速科学发现、提升软件安全性、支持医学研究并帮助解决复杂的工程问题。治理的核心问题在于，如何在维持对日益自主的开发系统进行充分控制的同时，获取这些益处。

结论

Anthropic 最新披露的信息凸显了 AI 开发可能发生的一种转变：人工智能不再只是由研究人员构建的产品，也日益成为用于构建后续 AI 系统的工具。

递归式自我改进描述了一种可能性：这一过程最终可能形成反馈循环，每一代模型都参与开发能力更强的后继模型。Anthropic 的警告表明，这种可能性或许比一些机构预期的更早到来，但该公司尚未将其现有模型认定为跨越内部 RSI 阈值。

关键问题在于，AI 系统能否形成自主推进所需的研究判断力，计算能力和基础设施能否支持更快的实验，以及安全评估能否跟上日益自动化的开发进程。

AI 的未来不仅取决于模型能力将达到何种程度，也取决于人类能否继续理解、验证并治理参与构建这些模型的系统。