从视频生成到实时世界：Runway GWM Worlds 2 与 WorldPrompt 范式级创新详解

GWM Worlds 于去年 12 月首发，是"提示词到片段"模型。GWM Worlds 2 要解决的问题是：把离线批量生成变成可玩的运行时。这要求同时满足两件事——模型不能一次生成整段，而要逐帧或少量帧生成；生成速度要能跟上实时播放。httP://AIDeepThi☑nk.cn

起点是 Runway 的基础音视频生成模型（双向扩散，一次合成整段视频）。流程是：先在 WorldPrompt 格式上微调，让模型理解"世界上下文 + 事件流"的双层输入；再做自回归后训练，使它可以一次生成一帧或几帧；最后用蒸馏压到实时。WorldPrompt 不是脚本语言（不同于 Minecraft / Roblox），而是提示机制：用户固定场景约束，实时注入带时间戳的事件。

现在正是发布了 GWM Worlds 2‌ 和 WorldPrompt‌，较上个版本，多个方面都有质的提升。httP://AIDeepThi☑nk.cn

一、GWM Worlds 2 核心技术能力

作为初代GWM Worlds的实质性升级版本，它完全跳出了过往世界模型只能支持预设动作集的限制，成为全球首款泛化支持任意自由动作的实时交互世界模型：

1. 音视频实时输出规格‌

可持续生成‌720p 24fps视频‌，同步输出‌48kHz全维度音频‌，覆盖带唇形同步的角色语音、环境音效、场景氛围音，所有音画内容完全同步生成，没有预设时长限制，只要用户持续交互就能无限延伸世界进程‌。

2. 全自由度交互能力‌

彻底摆脱“前进、左转、跳跃”这类固定动作组合，角色可以自主完成奔跑、攀爬、空翻、触发开关、改变物体颜色等任意复杂行为，用户用自然语言就能直接干预正在发生的场景事件，比如直接指令“让火焰在整个舞台蔓延”“让房间瞬间被洪水淹没”。

3. 多视角与多玩家支持‌

同时兼容第一人称、第三人称导航模式，相机和场景主体可完全独立控制，支持步行、驾驶、飞行等任意视角移动；通过LiveKit原生集成实现多人联机，支持玩家1、玩家2和导演三种角色，可直接开启协作建世界或非对称玩法场景。

4. 智能体自主接管能力‌

支持把世界控制权直接交给AI智能体，仅给它设定最终目标，它就能自主规划路径、完成多步复杂任务，完全不需要人工逐轮输入指令干预。

二、WorldPrompt 双层范式核心设计

WorldPrompt是GWM Worlds 2的核心交互创新，它重新定义了人类描述可交互虚拟世界的标准方式，通过分层结构从根本上解决了世界模型长期存在的“一致性与实时性无法兼顾”的核心矛盾：

第一层：持久世界上下文‌

在会话启动时一次性定义完成，全程保持稳定不被后续交互改写，内容覆盖世界的环境布局、视觉风格、物理规则、角色属性、光照氛围、基础环境音等所有底层固定规则，相当于传统电子游戏里的底层世界观配置文件，从根源上避免场景出现无逻辑漂移。httP://AIDeepThi☑nk.cn

第二层：带时间戳的事件流‌

由一系列可叠加的时序动作组成，每个动作可以指向特定角色，也可以直接作用于整个场景，支持“挥剑斩击”“角色开口对话”“沙暴正在逼近”等任意用自然语言描述的动态事件，所有事件按时间线叠加推进，完全不需要重新推导底层世界规则，保障实时交互的低延迟响应。

三、相较上一代的提升与明确的未解问题

提升在于交互性与实时性。但 Runway 三位负责人公开列出了三项未解：

• 误差累积：生成帧回喂模型，小误差随时间放大。联合创始人 Anastasis Germanidis 称之为自回归模型的"根本缺陷"。
• 长程记忆：模型没有完美记忆，物体移出视野后一致性无法保证。首席科学家 Robin Kahlow 称这仍是开放研究问题。
• 反事实生成：这是他给出的"视频模型与世界模型的最大差距"。训练数据有采样偏差（例如网络足球视频里进球远多于射失），模型渲染"成功"比"失败"更可信；而世界模型要求 A 与 B 两种动作产生同等合理的后果。此外，"无限生成"下的上下文保留与 GPU 显存管理也是硬约束。

四、行业突破与落地场景

这套组合方案直接把Runway从传统AI视频工具厂商，推到了通用世界模型赛道的第一梯队，为多个前沿领域提供了全新的底层技术范式：

1. 互动娱乐领域‌

无需传统游戏引擎的代码开发流程，仅通过自然语言就能快速生成完整可玩的实时互动游戏、互动电影，大幅降低虚拟内容的创作门槛。

2. 机器人仿真领域‌

作为高保真动态模拟器，直接用于训练机器人的运动控制策略，在虚拟世界中完成大量安全、低成本的预训练，再迁移到真实物理世界落地‌。

3. 下一代交互界面‌

配合Runway同期发布的Solaris接口世界模型，可直接逐帧生成交互式软件UI，完全替代传统代码编写界面的开发模式，实现“神经网络操作系统”的雏形构想。httP://AIDeepThi☑nk.cn

五、能力边界

目前GWM Worlds 2仍处于研究预览阶段，尚未开放公开API和稳定生产版本，仍存在明确的能力短板：快速镜头旋转时容易出现细节纹理、几何结构退化，长时场景记忆仍不完善，部分高难度动作的执行可靠性还有待提升，后续通过数据和模型规模的持续缩放，交互跟随能力还会进一步优化。