2026-11-03 03:49:44
Anthropic 警告称,AI 可能很快进入递归式自我改进阶段,并加速发展到超出人类察觉能力的程度。
根据其于 11 月 2 日更新的首次公开募股文件,Anthropic 警告称,AI 可能很快跨越递归式自我改进(RSI)的关键门槛,从而显著加快 AI 的发展速度。该公司指出了两种触发条件:AI 能以相当的成本完成整个研究团队的工作,或让 AI 的进展速度至少达到历史时间线所示速度的两倍。 Anthropic 的 Claude 已参与编写代码、运行实验和处理训练数据,以开发更强大的下一代模型,从而形成反馈循环,让新模型进一步加速后续研究。随着 AI 越来越深入地参与自身开发,模型能力的增长速度可能超过安全评估、对齐研究和保护措施的更新速度。该公司正在考虑修改其安全政策,以确保关键开发流程仍处于人类监督和控制之下。