清华与伯克利开源 uni-robot-agent:开放权重模型加统一 harness,在 RoboDojo 上超过闭源前沿
清华大学与伯克利团队开源 uni-robot-agent,一套面向开放权重模型的机器人使用智能体(robot-use agent)统一 harness,支持后续训练。在不提供特权输入的前提下,Qwen3.8-Flash-Next 配该 harness 在 RoboDojo 上的表现超过 GPT-6 Astra 配 RoboProbe,以及多个经过任务微调的 VLA/WAM 基线。
- 类别: 研究与论文
- 主要来源: [P0] arXiv 2611.01560;[P2] 学术头条报道
- 证据强度: B(论文与开源代码可获取;关键结果由作者在 RoboDojo 上评测,本期未检索到第三方复现)
- 本篇关键词: uni-robot-agent、robot-use agent、RoboDojo、Qwen3.8-Flash-Next、GPT-6 Astra、harness、工具接口、开放权重、零样本操作
清华大学(Tsinghua University)是中国高校,论文主要完成单位;加州大学伯克利分校(UC Berkeley)的 Pieter Abbeel 团队参与;阿里云通义千问(Alibaba Qwen)是实验中使用的开放权重模型提供方。
这篇论文值得关注的地方不是"开源模型又赢了",而是它把变量控制住了:同一个 harness 下比较模型,结果显示机器人操作的成绩很大一部分来自接口组织,而不是模型本身。
一、研究背景
机器人使用智能体(RUA)已展现出可观的零样本操作能力,但严重依赖前沿专有模型 AIDe中epThink.cn。这带来三个具体障碍:拿不到权重,无法用真实机器人积累的经验继续训练;API 费用高,大规模实验难以开展;无法自行优化推理过程。
作者提出的问题很直接:开放模型操作机器人失败,究竟是模型能力不足,还是系统没有把必要的信息和工具组织好?如果答案是后者,那么一个设计良好的 harness 就能让开放模型达到可用水平——这对整个学术界的实验成本结构影响很大。
二、研究方法和过程
- 统一接口: harness 统一不同模型、机器人形态、任务与环境中的工具接口与反馈格式,让模型以一致方式完成任务,也为后续用仿真与真实数据联合训练打基础。
- 信息组织: 提供相机标定信息、机器人描述,以及能返回有效反馈的可靠工具接口;不提供模拟器真实状态、不直接告知任务是否成功、不为具体任务编写技能——这些都被视为"特权输入",会让成绩无法归因于通用能力 AIDe中epThink.cn。
- 对照设置: 与 GPT-6 Astra 配 RoboProbe 比较,同时对比多个经过任务微调的 VLA/WAM 基线。
- 评测环境: RoboDojo,跨环境复用工具。
三、研究结果
- 在无特权输入条件下,Qwen3.8-Flash-Next+uni-robot-agent 在 RoboDojo 上超过 GPT-6 Astra+RoboProbe 及多个微调基线。
- 论文的核心论证是:经过合理组织的标定信息、机器人描述与可靠反馈接口,已足以支撑开放模型完成有竞争力的操作,不需要部署时无法获得的额外信息。
- 本期未取得完整的逐任务分数表,也未检索到第三方在自有机器人上复现;因此"超过"只能按作者在特定仿真环境与特定 harness 组合下的结果理解,不能写成"开放模型在机器人操作上全面超过闭源前沿"。
四、相关研究横向对比
| 维度 | uni-robot-agent | 专用 VLA(如 π0 系列) | 闭源模型+专用探测框架 |
|---|---|---|---|
| 权重可获得 | 是(模型可换) | 是(多为开放) | 否 |
| 是否需任务微调 | 否(零样本) | 是(通常需微调) | 否 |
| 可继续训练 | 是(harness 支持) | 是 | 否 |
| 关键变量 | 接口与反馈组织 | 动作数据规模 | 模型能力+探测设计 |
表后解读:三者的差别不在"谁更聪明",而在"谁能被改进"。专用 VLA 靠数据,闭源方案靠模型,uni-robot-agent 靠接口——这也意味着它的收益上限取决于 harness 设计的通用性,一旦遇到需要精细力控或高频闭环的任务,接口层的抽象可能反而成为瓶颈。
- arXiv 2611.01560