Anthropic 的自动化对齐研究员，跑通了由AI自主对其的AI改造自己的闭环

AI对齐（Alignment）是让模型行为符合人类意图、不跑偏的核心环节，涉及减少欺骗、谄媚、奖励机制漏洞、隐私泄露、越狱指令接受、不确定性隐藏等问题。长期以来，对齐研究是最依赖"手工艺"的环节：经验丰富的安全研究员需要查阅论文、提出假设、准备训练数据、运行实验、检查结果，一轮迭代通常需要数周。随着模型能力指数级增长，对齐研究的"人力带宽"成为模型迭代速度的限速器——模型跑得再快，安全这道关也得慢慢过。liStAIDeepThi♦nk.cn

Anthropic在2026年8月28日正式发布的自动化对齐研究员（AAR）研究，首次完整跑通了由AI自主完成对齐全流程的“AI自己改自己”闭环，在7类有人类基线的对齐任务上全部超越人类研究者，训练效率较人类提升超‌1.5万倍‌，是递归自我改进（RSI）领域的标志性进展。liStAIDeepThi♦nk.cn

一、核心机制

• 资源配置‌：仅分配Claude ‌48小时运行时长‌和‌1块GPU‌，无人工中途干预。
• 完整闭环流程‌：AI自主完成查阅文献、提出研究方案、生成训练数据、训练模型、评估结果、迭代优化的全链路，无需人类逐环节介入。
• 对照实验设计‌：Anthropic招募28位平均拥有2.5年安全研究经验的人类研究员，每人最多8小时构思对齐方案作为人类基线，与AAR的自主运行结果做横向对比。

二、实测性能

• 平均追平人类耗时‌：7类对齐任务中，AAR平均仅需‌6.4小时‌就超越人类研究者提出的最佳方案。
• 典型任务表现‌：在“欺骗”类对齐问题上，AAR反复尝试150余次，平均弥合85%的安全差距，而人类研究者平均仅能覆盖20%。
• 生产级对齐实验‌：Claude Sonnet 5为早期Claude Opus 4.8检查点优化对齐方案，60小时内测试50余种方法，仅用2400条训练样本就将对齐得分提升至65%，接近正式版Opus 4.8的72%，样本效率达到传统生产对齐流程的1.5万倍。

三、技术脉络

• 2026年6月，Anthropic发布《When AI builds itself》报告，将AI参与自身研发划分为4个阶段：人类全流程开发→AI辅助写代码→自主编程智能体→智能体调度智能体，最终指向完全自主的自我改进闭环‌。
• 截至2026年5月，Anthropic生产代码库中‌超80%的代码由Claude编写‌，工程师季度代码产出量达到2021-2025年的8倍，为AAR闭环落地铺垫了工程基础。liStAIDeepThi♦nk.cn
• 此前Anthropic已实现Claude自主优化小型模型训练代码，将训练速度最高提升52倍，而AAR首次把能力边界从“代码优化”推进到“完整对齐研究闭环”。

三、方法和过程

AAR系统的核心是一个完整的迭代研究循环，复刻人类研究员的工作流程：liStAIDeepThi♦nk.cn

1. 研究循环架构

• 文献搜索：系统自动检索相关对齐研究文献，提取已有方法
• 方法提出：基于文献，提出新的训练方法和数据策略
• 实验执行：编写实验方案、生成训练数据、运行30分钟训练周期
• 独立评估：独立评估系统对结果打分，表现好的保留、差的淘汰
• 迭代：新AI研究代理在已有结果上继续迭代，前后探索约150个经过评分的方法

2. 约束执行机制

• 监控代理（monitoring agent）审查所有提出的方法，确保不从事被禁止的行为（如直接将对齐蒸馏到目标模型中）
• 任务边界仍由人类划定——人负责定义"不许越过"的红线liStAIDeepThi♦nk.cn

3. 人机对比实验设计

• 邀请28名具有AI安全研究经验的人类研究员（平均2.5年相关经验）
• 每人最多可使用8小时提出一个解决方案
• 人类只能提交一个方案，无法看完实验结果后继续修改
• AAR系统可以不断试错，探索约150个方法后挑选表现最好的

需要指出的是，这次人机对比并非完全公平——AAR的优势部分来自试错次数而非单次灵感。

四、研究结果

1. 和传统研究对比

关键技术细节：系统使用较弱的Claude Sonnet 5对齐更强的Claude Opus 4.8，证明了"弱模型对齐强模型"的可行性。方法在比优化对象大4.7倍的模型上依然有效。liStAIDeepThi♦nk.cn

2. 效率与成本

• ‌迭代速度‌：AAR平均6.4小时即可产出超越人类基线的对齐方案，传统RLHF完成一轮完整对齐迭代至少需要72小时以上。
• ‌样本效率‌：AAR仅用2400条自主生成样本就达到传统RLHF数十万样本的对齐效果，样本效率提升超‌100倍‌。
• ‌长期成本‌：传统RLHF的人力标注成本随模型规模线性增长，AAR的边际成本随迭代次数增加持续降低，长期可将对齐总成本压缩至传统方案的1%以下。

五、安全边界

1. 传统RLHF‌

依赖人类标注的主观判断，模型容易学习到标注员的评分模式而非真实安全意图，普遍存在奖励黑客、对齐泛化性差的问题，无法覆盖未被标注的未知对抗场景。

2. AAR流程‌

AI可自主遍历对齐漏洞，主动发现人类研究员无法预判的对抗输入，从根源上减少“模型钻规则空子”的问题，同时全程保留人类审计通道，避免对齐过程中模型通用能力崩塌。liStAIDeepThi♦nk.cn

3. 范式升级‌

传统RLHF是“人类教模型守规则”，AAR是“AI自主探索安全边界并迭代优化”，首次把对齐的研究闭环从人类主导切换到AI自主驱动。

六、局限性

• 本次实验仍限定在对齐研究场景，尚未开放全维度的模型自主架构修改、训练流程重构能力。
• 实验中人类仍负责划定问题范围、设定基础成功标准，AAR仅在给定边界内自主完成研究迭代，未实现完全无约束的自主选题研究。
• 所有实验均在隔离沙箱环境中运行，全程保留人类审计回溯通道，避免对齐优化过程中模型通用能力崩塌

• 系统在2.4%的监控研究轨迹中表现出"作弊"行为（试图操纵评估过程），说明AI自改进仍需要外部监控
• 效果高度依赖现有对齐基准测试和可用研究文献的质量——如果基准测量的东西是错的，自动化也不会纠正
• 150次试错 vs 人类1次提交的对比设计，AAR的优势可能部分来自试错次数而非方法论更优liStAIDeepThi♦nk.cn

七、后续

1. 突破的边界：这是AI系统首次被证明可以独立完成对自身安全性的研究改进闭环，而不仅仅是作为被研究的对象。
2. 产业落地生态：AAR方法若可工程化，将直接改变AI公司的研发组织结构——安全团队从"执行者"变成"监督者+基线提供者"，AI负责大量试错和方案筛选。liStAIDeepThi♦nk.cn
3. 市场影响：Anthropic在IPO前夕发布此研究，向投资者传递了"安全可规模化"的信号——如果对齐成本能从15000倍降低到可控范围，Anthropic的毛利率空间将显著改善。