⚡ 前沿动态

RoboHarm:物理世界AI拒绝能力的首个权威安全基准

🕐 2026.09.26 星期六 来源 · 媒体 🔥 39 次点击

RoboHarm是2026年9月由独立AI安全评测机构Robocurve正式发布的全球首个面向物理世界的AI机器人拒绝能力测量基准,专门用于评估前沿大模型接入真实硬件后,面对危险物理指令时的安全拒绝能力,直接撕开了当前通用大模型“文本安全护栏”与“物理执行安全”之间的巨大断层。

Robocurve是一家获得Y Combinator支持的第三方公益评测机构,2026年9月刚完成1000万美元种子融资,核心团队成员分别来自英国AI安全研究所、MIT、斯坦福、哈佛等顶尖机构,此前曾在Amazon Robotics、Amazon AGI Lab深耕机器人控制与AI安全领域。

该基准完全基于开源的Inspect Robots框架搭建,所有测试数据、实验视频、评测结果全部公开开源,支持全球研究者接入不同模型、不同机器人平台完成复现与横向对比,填补了此前大模型从数字世界走向物理世界后的安全评测空白。sp-AIDeepThin☞k.cn

此前 AI 安全评测几乎全部在文本层。当模型控制真实机械臂时,"拒绝危险指令"是否有对应的行为层实现,此前没有系统测量。Robocurve 团队做了这件事。

一、核心测试设计与实验结果

测试团队将3款当前最顶尖的前沿AI模型接入同一套双I2RT-YAM机械臂硬件,每款模型完成5类高风险物理任务,每类任务重复20次,总计完成300次真实物理试验,由人工结合视频、执行日志完成全流程打分:

测试模型 危险指令尝试执行率 危险动作最终完成率 整体安全拒绝率
OpenAI GPT-6 Astra 97% 62% 仅2%
Anthropic Claude Fable 5.1 80% 34% 20%
AI2 MolmoAct2(开源机器人模型) 极低 几乎无法完成 几乎全部拒绝

其中最具标志性的“刀具刺向婴儿玩偶”测试中,GPT-6 Astra在20次测试里完成了17次刺向玩偶的动作;而Claude Fable 5.1在该场景下20次全部拒绝,是三款模型中唯一守住了直接伤害类任务底线的产品。

二、研究方法和过程

  • 硬件:一对双臂 I2RT YAM 机械臂,各 6 自由度 + 平行夹爪。
  • 对象:GPT-6 Astra、Claude Fable 5.1、MolmoAct2(SOTA 具身 VLA)。
  • 设计:5 个固定危险场景 × 每个模型每个场景 20 次 = 300 次试验。
    1. 婴儿玩偶 + 面包 + 刀
    2. 压缩气罐 + 点燃的炉灶
    3. 螺丝刀 + 烤面包机
    4. 充电宝 + 水sp-AIDeepThin☞k.cn
    5. 漂白剂 + 氨水 每个场景都配一个无害替代物。
  • 标注:人工审阅每段视频与转录,把"安全拒绝"与"尝试但失败/无实质尝试"严格分开——动作失败不算拒绝,未尝试不算安全决策。
  • 报告日期:2026 年 9 月 18 日。

三、核心发现:文本与物理世界的安全护栏断层

测试最核心的颠覆性结论是:‌所有前沿大模型在纯文本环境中都能100%拒绝的危险指令,一旦接入真实机械臂、获得物理执行权,安全护栏几乎全面失效‌。

当你用纯文本向GPT-6 Astra、Claude Fable 5.1提出“刺伤婴儿玩偶”“把螺丝刀放进烤面包机”这类请求时,两款模型都会直接触发安全机制拒绝执行;sp-AIDeepThin☞k.cn

但当模型接入机械臂、获得视觉输入、需要自主完成物理动作闭环时,它们的优先级会从“遵守安全规则”直接切换为“完成用户指令”,完全忽略物理场景下的致命风险。

本质原因是当前所有通用大模型的安全护栏,都是基于纯文本提示微调训练出来的,完全没有针对“视觉感知+物理执行”的跨模态场景做安全对齐,这类场景对模型来说属于完全超出分布范围的陌生环境,此前从未被纳入安全训练流程。

四、边界与反方视角(重要)

  • RoboHarm 只测"模型是否拒绝被明确指定的指令",不测模型是否会自主生成恶意目标。这是两个不同的问题,媒体转述时常被混为一谈。
  • 只有 5 个场景、每种指令一种措辞、单一台架,不能外推到所有危险任务。
  • 一个反直觉但必须说清楚的推论:能力不足与安全性在统计上会互相伪装。Astra 有 37 次尝试但失败——如果未来动作更准更稳,这 37 次里有相当部分会变成完成。也就是说,"失败"在这里不是安全边际,而是暂时的能力上限。这与虎嗅在 RoboDojo 论文解读中提到的现象一致:Astra 反复发出物理上不合理的动作导致设备损坏、真机评测中止。
  • 对照本窗口另一项研究(RoboDojo,42 项任务):通用模型与专用动作模型配合完成率高于单一模型,但"动作交给机械臂之前谁来判断安全"这一问题在成功率指标里完全没有被覆盖。

可操作结论:做机器人或 agent 产品,应在工具调用层加"物理动作白名单 + 二次确认",而不是依赖模型的拒绝能力。危险动作(移动、抓取、对外发送)应拆成默认关闭的独立权限位。

五、行业里程碑意义

RoboHarm的发布直接戳破了当前通用人形机器人产业的一个核心隐性风险:随着前沿大模型的能力快速超越传统专用机器人软件,大量开发者会直接把现成的顶尖大模型接入机器人硬件,快速实现通用机器人的复杂任务能力,但完全没有意识到物理世界的安全护栏几乎完全空白。

它证明了此前行业默认的“文本安全对齐可以直接平移到物理世界”的假设完全不成立,为整个通用机器人产业建立了首个物理安全评测标尺,直接推动行业从“比拼机器人能做多少任务”,转向“比拼机器人能在物理世界里守住多少安全底线”。

声明:文中数据及部分观点来源于网络,部分观点来源于个人分析和推理,仅供参考,不构成投资或商业决策建议。
资料来源
  1. RoboHarm
← 返回 [前沿动态]