李飞飞World Labs的Atlas多模态世界模型（效果视频）

Atlas是World Labs从零开始完整预训练的原生多模态基座，原生支持文本、图像、视频和3D四类数据输入输出，打破了此前多数生成模型仅聚焦单一模态能力的局限，核心目标是同时打通视频生成、3D重建和时空模拟三大核心能力。

World Labs致力于构建"空间智能"，将视觉理解、生成与物理世界模型结合。Atlas是其多模态世界模型的重要里程碑。/spanAIDeepTh欢ink.cn

视频来自 worldlabs.ai

一、核心能力

1. 像素级相机控制生成‌

仅需1-6张参考图，用户可自定义指定机位、角度和完整相机运动轨迹，最高输出‌1440p分辨率、时长1分钟‌的视频，无需依赖文字描述运镜，像专业导演一样精准控制镜头运动。

2. 稀疏视角空间重建‌

仅需1张到几十张输入图即可重建真实场景，同时输出新视角图像帧、点云和3D高斯泼溅等显式3D结果，在DTU数据集测试中重建误差仅为‌25.3‰‌，性能优于多个主流专用3D重建模型。

3. 时空模拟‌

从输入视频中同时建模空间与时间维度，可直接用于视频重构和机器人Real-to-Sim（真实到模拟）流程，把真实拍摄的场景快速转化为可交互的数字模拟环境。/spanAIDeepTh欢ink.cn

4. 多模态图像生成‌

支持文生图和360度全景图生成，可精准遵循复杂指令，覆盖多种视觉风格。

二、技术创新

Atlas采用‌多模态自回归扩散Transformer‌架构，最核心的设计是“空间上下文”机制：每一张输入图像都被锚定在三维空间的具体位置，附带相机位姿参数一同进入模型，让模型不仅识别图像内容，更明确知道这张照片的拍摄空间位置。

该架构同时融合了LLM与视频模型的技术优势，既可以复用KV缓存、分离式部署等LLM侧推理优化方案，也能兼容扩散蒸馏、CFG等视频侧成熟算法，大幅提升推理效率。

三、产品阶段

目前Atlas处于早期访问阶段，暂不开源，仅向少数合作伙伴开放申请。/spanAIDeepTh欢ink.cn

后续将驱动World Labs旗下Marble等全系列产品，核心落地场景除了视觉特效、内容创作之外，更关键的价值是打通通往具身智能的路径，可直接用于机器人预训练，解决真实场景训练数据匮乏的行业痛点。

四、应用场景

Atlas模型在具身智能领域的落地，核心依托其原生空间理解、稀疏视角3D重建和时空模拟能力，解决了具身智能长期面临的真实场景训练数据不足、Sim2Real迁移误差大的行业痛点，目前已在多个前沿场景落地。

1. 机器人Real-to-Sim场景落地

这是Atlas当前最核心的具身智能落地方向：

1. 仅需机器人在真实环境中拍摄少量稀疏视角图像，Atlas就能快速生成高保真的完整3D模拟环境，还原场景内所有物体的几何结构、材质纹理和空间位置，无需人工手动搭建仿真场景。
2. 生成的模拟环境可直接接入机器人训练管线，让机器人在虚拟空间中完成大量动作规划、避障、抓取策略的预训练，大幅降低真实场景试错成本。
3. 实测显示，基于Atlas生成的仿真环境训练出的机器人策略，迁移到真实场景后的执行成功率，比传统人工搭建仿真环境的方案提升‌37%‌。

2. 具身智能数据底座落地

针对具身智能行业普遍缺乏大规模高质量3D场景训练数据的痛点，Atlas可批量生成符合真实物理规则的海量虚拟3D场景，覆盖家庭、工业、户外等各类复杂环境，补充具身大模型的训练数据集。

生成的场景自带完整的空间坐标、物体物理属性和动态演化逻辑，可直接用于具身大模型的空间智能预训练，大幅降低对真实世界采集数据的依赖。/spanAIDeepTh欢ink.cn

3. 工业具身巡检场景落地

搭载Atlas能力的工业巡检机器人，仅需首次进入陌生工业厂房时拍摄少量参考图像，就能自主完成全厂区的3D空间重建，后续巡检过程中可实时定位自身位置，自主规划最优巡检路径。

遇到设备异常时，机器人可基于Atlas的空间上下文能力，精准定位故障点的三维坐标，同步生成故障场景的3D可视化报告，大幅提升工业巡检的响应效率。