中科紫东太初开源的面向物理世界的多模态模型 ZDTaichu5.0-9B 详解

紫东太初是中科院自动化所与武汉人工智能研究院体系的多模态模型系列。本次定位明确转向"物理世界"，主打真实场景空间感知、跨视角变换与具身任务规划，解决通用多模态模型擅长理解图文内容，但不掌握物体空间位置、视角变换后的画面、机械臂抓取路径这类空间关系的缺点——这是机器人与现实世界之间的核心缺口。GoTo:AIDeepTh❀ink.cn

产业背景是2026年人形机器人量产元年预期：上半年国内具身智能融资约935亿元（同比增约5倍，行业统计口径），数据采集中心约70个，人形机器人企业超150家，但"大脑不够懂物理世界"是普遍瓶颈。

ZDTaichu5.0-9B 在9项国际空间理解基准拿下8项同参数组第一，且开源权重+数据生产方案；在具身智能"大脑不懂物理世界"的共同瓶颈上给出了可二次开发的开源基座。

一、关键参数

• 参数量：约9B（可端侧部署量级）
• 输入：单图、多图、长序列视频、任意分辨率视觉输入（后者直接解决产线相机/无人机/监控分辨率不一的预处理负担）
• 上下文：128K GoTo:AIDeepTh❀ink.cn
• 成绩：9项国际空间理解基准中8项同参数组第一；跨视角评测ViewSpatial 62.5分（明显领先同档）；机器人基准ERQA、RoboSpatial均居同参开源模型首位；视频目标定位为同级唯一命中项（同类开源模型全部定位错误——单一来源口径，引自发布方对比测试）
• 开源范围：模型权重+数据生产详细方案（预训练、微调、GRPO强化学习全流程）

二、技术原理

1. 熵门控自适应循环推理

把复杂推理收进潜空间内部迭代，而非逐行输出思维链：简单问题直接作答不浪费算力，遇到空间变换这类高不确定性节点则在前向过程内多轮迭代打磨表征。这与业界推测的GPT-6 Astra Loop Transformer路线相合（同为潜空间推理路线，属技术判断趋同而非师承关系）。

2. 数据生产方案开源

把预训练/微调/RL全流程工艺交出，企业可用自有工业与机器人数据继续训练，这是对"开源权重但闭源配方"惯例的超出。

3. 解决具身智能落地的三个卡点

• 云端调用延迟与成本（9B端侧可跑）
• 工业分辨率碎片化（任意分辨率输入） GoTo:AIDeepTh❀ink.cn
• 机器人任务规划的感知-决策断层（感知、认知、决策、行动全链路覆盖）

三、核心技术架构

1. 输入能力突破‌

原生支持单图、多图、长序列视频与任意分辨率视觉输入，不再受传统多模态模型固定分辨率、单图输入的限制，适配真实物理场景的复杂视觉采集需求。

2. 自适应循环推理机制‌

通过熵门控机制自动判断Token预测不确定性，触发内部循环计算，配合阻尼更新、双重停止判据、轨迹读出与状态回滚三类稳定机制，大幅降低物理场景下的推理错误率。

3. 渐进式训练体系‌

预训练阶段覆盖开源图文、结构化网页、多视角视频及三维仿真场景，监督微调阶段注入任务轨迹与空间具身案例，高质量退火阶段使用长推理样本，最后通过GRPO强化学习优化，奖励信号覆盖答案正确性、空间框选坐标命中、输出格式合规等维度。

4. 物理世界专属核心能力

• 和传统通用多模态模型相比，它针对性解决了真实物理场景的核心痛点：
• 空间理解能力‌：具备参照系变换、属性绑定与空间排序、可供性推理能力，能精准识别三维空间中物体的位置关系、可操作属性，不会出现通用模型“空间幻觉”。
• 长程具身任务闭环‌：通过身份记忆、空间关系跟踪和任务进度校验，支持机器人连续多步操作，不会在多步骤物理任务中丢失上下文。
• 物理规则对齐‌：所有推理逻辑严格贴合真实世界物理规律，不会生成反重力、物体穿透这类违背常识的错误判断。

四、性能表现

• 空间专项能力：在九大国际空间基准评测中8项同参数通用组别第一，MindCube-tiny得分78.27，比Qwen3.5-9B高20.67个百分点，在ViewSpatial、MindCube-tiny等基准上领先Gemini 3 Pro超过7%。
• 通用多模态能力：AI2D得分91.48，WeMath75.9，MathVista Mini84.5，OCRBench85.5，同参数通用多模态模型中处于第一梯队。
• 文本与代码能力：IFEval93.7，AIME2026得分89.2，LiveCodeBench v6得分73.4，兼顾物理场景能力的同时没有牺牲通用大模型基础能力。

五、横向对比

六、落地场景

1. 科研场景‌

打通仿真到湿实验闭环，可根据自然语言科学问题调用Python和SciPy完成计算与绘图，也能在实验台上按顺序转移试管、完成滴管液体转移，实现仿真计算与湿实验的贯通。

2. 工业制造场景‌

把工单直接翻译成车间抓取、搬运、上料动作，支持备料配送、机台上下料检测、工位整理等业务，能应对密集货架、零件相似、目标遮挡等复杂工业现场情况，相关任务已在真机上完成验证。

3. 具身任务 GoTo:AIDeepTh❀ink.cn

试管按序入架、滴管转移、跨工位配送。对中小团队与高校，9B+开源配方的组合意味着不用从零训练即可搭具身应用，省下的是训练成本与数据冷启动时间。

4. 全开源开放‌

模型权重、数据生产与训练方案同步在Huggingface、Modelscope、Github等平台开放，开发者可直接基于自有硬件完成部署和二次微调。

紫东太初团队后续将继续迭代，打造面向物理世界的具身基础模型，最终形成“感知—认知—预测—行动—反馈”的完整自主闭环。