中国科大发布AI机器科学家实验室压力测试：可执行率仅3.3%

中国科大这项AI机器科学家实验室压力测试的核心结果显示，‌4608次测试中仅3.3%的工作流无需人工修复即可全自动跑通‌，该结果于2026年8-9月由中科大团队正式公开，直接戳破了此前“AI可完全接管物理实验室科研”的行业乐观预期。/spaNA△IDeEpThink.cn

一、研究背景

当前AI for Science的讨论往往混淆三种能力：生成实验计划、生成可在物理实验室执行的工作流、根据实验结果调整整体研究策略。中国科大研究团队试图用真实物理世界评测来区分这三种能力。

二、研究方法

研究团队搭建了一个机器催化实验室，包含45个覆盖合成、表征和催化性能测试的模块化自动工作站。这些能力被封装为机器可读技能（skills），AI智能体可通过技能直接调用实验设备，并接受真实设备能力、操作规范和实验条件的约束。/spaNA△IDeEpThink.cn

测试覆盖：

• 6种智能体框架 × 9种大语言模型 = 48种配置
• 32项由领域专家定义的研究任务
• 共计4608次评测试次

三、测试设计

1. 测试平台

团队搭建了包含45个模块化自动工作站的真实机器催化实验室，覆盖合成、表征、催化性能测试全流程，所有设备能力都被封装为机器可读的标准化技能接口。

2. 测试样本

覆盖6种智能体框架、9种大语言模型组成的48种实际配置，针对32项由领域专家定义的真实催化科研任务，累计完成4608次对照测试。

3. 评测维度

不局限于AI生成实验方案的文本质量，全程追踪从方案生成、合规核验、下发机器人系统到物理世界实际执行的全链路表现。

四、测试结果

1. 整体可执行率

全部4608次测试中，仅151个工作流无需人工修复就能直接在实验室执行，占比恰好为‌3.3%‌。

2. 头部组合表现

表现最优的Claude Code+Claude Opus 4.7组合，全自动可执行率也仅为‌28.1%‌；排名第二的Codex+GPT 5.5组合可执行率为19.8%。

3. 长程规划瓶颈

仅极少数工作流能支撑超过30个操作步骤，任务链条越长，AI维持物理操作逻辑完整性的能力衰减越快，全测试中仅3个工作流突破30步门槛。

4. 闭环学习局限

AI能根据实验反馈调整材料配方、操作条件等局部参数，但多轮迭代始终停留在局部优化层面，从未主动质疑原有实验策略，也无法修正“缺少关键试剂、电极黏结剂”这类根本性的方案遗漏。

研究总结：智能体能够根据实验结果调整材料配方和操作条件，但这些调整主要停留在局部参数优化层面，未能重新设计分析方法或纠正关键遗漏（如缺少电极黏结剂和显色试剂）。

五、结论与启示

研究首次明确区分了此前行业长期混淆的三种AI科研能力：

• 流畅生成格式完整的实验方案/spaNA△IDeEpThink.cn
• 生成能在物理实验室直接落地的可执行工作流
• 根据实验结果反向重构整体研究策略

当前大模型仅能稳定实现第一种能力，后两种能力仍存在显著短板，文本层面的规划能力完全无法自动转化为物理世界的可靠执行能力。

这也意味着AI目前只能作为科研人员的方案起草员、文献助手，问题定义、策略重构、异常调试这类核心科研元能力，仍无法被自动化替代，此前大量演示视频呈现的“行云流水式全自主AI科研”，普遍存在样本偏差问题，和真实严苛测试的结果存在巨大差距。