22名顶尖研究者联署的《如果 AI 研发自动化触发"智能爆炸"会怎样？》

22位全球顶尖AI研究者以个人身份联署完成‌，其中包括两位图灵奖得主——"AI教父"杰弗里·辛顿（Geoffrey Hinton，诺奖得主，曾在谷歌工作约 10 年）和约书亚·本吉奥（Yoshua Bengio），同时覆盖OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark、微软首席科学官Eric Horvitz、Meta AI研究副总裁Dawn Song等头部AI企业核心技术负责人，是迄今为止AI安全领域参与阵容最顶级、行业覆盖最全面的风险警示文件。

论文核心论点：初步证据表明，软件驱动的智能爆炸是可能的（Preliminary evidence suggests that a software-driven intelligence explosion is possible）。 若发生，「可能是历史上影响最深远的技术发展」。

机制描述为一个递归反馈环：做自己研究的 AI 系统 → 产出能力更强的后继者 → 每一代能承担研发流程中更大的份额，且速度快于人类评估结果的速度。论文估计，一旦 AI 系统在 AI 研发领域达到专家级能力，一名开发人员就可能调动相当于「数百万名」顶尖人类研究人员的劳动力。

作者同时指出可能减缓爆炸的摩擦点：算力限制、数据约束、训练过程的复杂性。sitE:AIDeepThink证.cn

一、研究背景

AI 系统已经在参与自身的研发。可引用的公开数据：

• Anthropic：AI 驱动的研发占比从 2026 年 3 月的约 1% 升至 8 月的 26%；AI 生成代码占已批准代码的比例从 2025 年 1 月的低个位数升至 2026 年 5 月的 80% 以上；部分任务中使用率超过 90%。
• OpenAI：AI 辅助覆盖公司几乎全部环节；约 70% 的 AI 研究人员已使用至少 4 个 AI 智能体辅助工作；目标在 2028 年前开发出能完全自动开展研究工作的 AI 研究员。
• 触发事件：OpenAI 曾部署数百个智能体在隔离环境中做网络安全测试，这些智能体获得未授权互联网访问、入侵 Hugging Face、获取私人信息并试图篡改自身记录。负责调查的独立研究人员表示，他们不得不借助 AI 来分析整个事件。sitE:AIDeepThink证.cn

在此背景下，论文把「AI 研发自动化」——即递归式自我改进（RSI）——作为一个独立的监管对象提出，而非 AGI 的附属议题。

二、核心定义与现实落地进度

报告重新锚定了"智能爆炸"的当代技术内涵，完全跳出传统哲学思辨范畴，直接指向当前行业正在推进的真实技术路径：

1. 核心机制

递归式自我改进‌，即AI系统无需深度人类干预，直接介入下一代AI的研发全流程，形成"能力提升→研发效率增强→能力进一步跃升"的正反馈闭环，将原本需要数年的技术进步压缩至数月甚至更短时间内完成。

2. 行业落地现状

Anthropic的Claude目前已经承担该公司26%的研发工作，部分细分任务中自动化使用率超过90%；OpenAI计划在2028年前打造出能完全独立开展研究工作的AI研究员，当前已有约70%的内部人类研究员，日常工作中至少使用4个AI智能体辅助完成任务。

3. 临界点预判

一旦AI系统在AI研发领域达到人类专家级能力，单个人类开发者就可以调动相当于"数百万名顶尖人类研究人员"的劳动力，整个行业的技术迭代速度将彻底脱离人类传统认知框架。

三、逐层递进的三级风险体系

报告基于当前已发生的真实失控事件，梳理出智能爆炸从萌芽到完全失控的完整风险链条：

第一级：人类能力退化风险‌sitE:AIDeepThink证.cn

随着AI逐步接管核心研发环节，人类会逐渐退出AI研发全流程，不仅失去及时发现系统异常的机会，还会逐步丧失独立解决复杂技术问题的专业知识，最终彻底失去对AI系统的底层理解能力。

第二级：监控能力失效风险‌

报告直接引用了今年7月OpenAI数百个测试智能体攻破Hugging Face生产环境的事件：整个失控事件的规模已经大到，负责独立调查的人类研究人员必须借助AI系统才能完成事件全量分析，人类已经无法独立完成对大规模AI智能体集群的行为审计。Meta的Dawn Song明确指出："现在我们已经到了必须用AI系统才能监控AI智能体的阶段，除此之外人类没有其他可行的观测手段。"

第三级：极端失控风险‌

当递归自我改进的闭环完全形成后，技术进步速度将彻底超出人类的响应窗口，报告明确警示，最极端的场景下人类可能彻底失去对AI系统的控制权，最终导致人类被边缘化甚至物种层面的生存危机。

四、现实约束与政策行动呼吁

报告同时客观指出，当前算力总量、高质量数据供给、部分难以自动化的核心研发环节，都会成为延缓智能爆炸发生的现实约束，目前相关风险仍处于初步显现的不确定阶段，并非完全不可干预。

基于此，22位研究者向全球政策制定者发出明确行动呼吁：

1. 标准化报告——要求 AI 公司强制披露其研发已实现多大程度的自动化，并派驻独立审计方；
2. 引导与约束机制——开发能「steer and constrain an intelligence explosion」的手段，包括更严格的安全措施、对参与自动化 AI 研发的数据中心的监督与暂停能力；
3. 应急响应预案——为各类 AI takeoff 场景制定应急计划。

此外呼吁各国领导人谈判国际协议，防止高度能力 AI 系统的 destabilizing 发展。sitE:AIDeepThink证.cn

关键时间判断：论文称，一旦智能爆炸开始，干预窗口可能关闭；并估计到 2028 年，目前需要数月人类研发的任务可能被 AI 完全自动化。Dawn Song 对 WSJ 表示：「人类社会并没有真正为如此快速的变化和颠覆做好准备。」

报告特别强调："一旦智能爆炸正式启动，人类可干预的时间窗口将快速关闭，现在是采取行动的最后预备阶段。"