Runway发布Solaris:首个界面世界模型
Runway 9月1日发布首个界面世界模型Solaris,基于Gen-4.5视频模型改造,逐帧自回归生成可交互界面,无需编写HTML/CSS代码,720p实时运行,为Computer Use Agent提供泛化训练环境。
Solaris提出"界面世界模型"(Interface World Model)这一全新概念——这挑战了软件开发的基本范式:这是全球首款被定义为“界面世界模型”的AI产品,完全打破了传统软件“设计-开发-渲染”的固定流程,把视频生成技术延伸到了实时交互界面生成领域:不生成代码,而是直接逐帧合成可交互的界面像素。 AIDEepTh∠ink.cn
从"设计转代码"变为"描述意图,模型渲染",彻底消除了设计与开发之间的传统边界。在720p实时交互下,人类偏好测试中指令遵循和行为自然度分别达61%和71%,显著高于代码方案。但720p分辨率上限、文本渲染精度和会话一致性仍是限制。
一、产品定位
Solaris不属于普通的“写代码生成界面”的AI助手,它本身就是应用本体:
- 基于Runway成熟的Gen-4.5视频模型技术底座升级而来,以720p分辨率逐帧实时渲染交互界面。
- 每一个像素同时承载界面视觉呈现和交互逻辑,用户的点击、拖拽、语音指令都能被模型直接响应,不需要底层代码作为中间层。
- 它的终极目标是替代固定形态的App,生成完全随用户需求动态适配的交互环境。
二、技术原理
Solaris的核心思想是取消"视觉设计到代码"的翻译步骤。传统软件开发中,设计师创建像素级设计稿,工程师将其翻译为代码(HTML/CSS/JavaScript),翻译过程是有损压缩——设计稿的视觉丰富性在代码化中丢失。
Solaris的架构将推理与渲染分离:
- 推理层:LLM解释用户意图,决定场景是否需要变化或过渡,生成文本提示词引导Solaris
- 渲染层:Solaris本身处理视觉输出,逐帧生成 AIDEepTh∠ink.cn
三个工程优化实现实时交互:
- 自回归生成:每帧仅依赖前一帧,非整段视频精炼
- 少步蒸馏:将多步去噪压缩为几步
- 自训练:快速模型在自己的输出上训练以保持长会话视觉稳定性
用户输入(点击、拖拽)作为下一帧的条件信号,方式与文本提示词和参考图像条件化视频生成相同。
三、技术突破
Solaris重构了软件运行的底层逻辑:
- 传统软件将视觉层和逻辑层完全分离,设计师产出界面样式,开发者编写交互逻辑,再通过渲染引擎、框架、交互处理链路拼接成完整应用。
- Solaris用单一模型同时完成所有视觉元素渲染和用户输入响应,跳过了从设计稿转代码的全流程,实现界面生成和交互反馈的实时同步。 AIDEepTh∠ink.cn
- 它把视频生成的帧生成能力直接复用为界面渲染能力,让交互界面像视频流一样实时动态生成,完全摆脱了传统代码框架的约束。
四、核心功能
Solaris作为全球首款界面世界模型,核心功能围绕“实时生成完全可交互的动态界面”展开,彻底打破了传统软件依赖代码渲染界面的运行逻辑,核心功能可分为四大类:
1. 实时帧级界面渲染
- 以720p分辨率逐帧生成交互界面,完全替代传统软件的代码渲染引擎。
- 不需要提前编写底层界面代码,所有视觉元素都由AI实时生成输出。
2. 全维度用户输入即时响应
- 直接识别点击、拖拽、滑动等所有鼠标/触控操作,无需预设交互事件代码。
- 支持语音指令直接控制界面,可实时调整界面元素位置、颜色、布局等所有属性。
- 所有用户操作都能获得连贯、一致的动态反馈,没有传统软件的交互延迟感。
3. 沉浸式动态场景生成
- 可生成完全开放的沉浸式交互场景,而非固定形态的功能页面。
- 典型场景下,用户浏览虚拟服装店时,可直接拖拽衣架上的衣物,还能上传个人照片作为试穿参考,交互体验和现实场景几乎一致。 AIDEepTh∠ink.cn
- 支持通过语音指令实时调整场景内的光照、物体位置、色彩风格,整个场景随指令动态演化。
4. 零代码动态应用生成
- 跳过“设计稿转代码”的全流程,用户用自然语言就能直接生成完整可运行的交互应用。
- 生成的应用完全随用户需求动态适配,不需要提前开发固定的App版本,彻底打破传统软件的固定形态边界。
五、落地场景
目前Solaris已经在多个交互场景展现出独特价值:
- 交互式电商:用户可以直接用语音拖拽调整商品展示形态、切换参数,界面随需求实时变化,不需要提前开发固定页面。
- 可视化教程:操作指引界面可以跟随用户的操作进度动态调整,自动适配不同用户的学习节奏,不需要提前预设多套页面分支。
- 创意内容工具:设计师可以通过自然语言实时调整交互界面的样式和逻辑,零代码快速完成原型验证。
六、当前局限
作为前沿研究级产品,Solaris还存在明显的待优化空间:
- 文本渲染准确率仍不稳定,界面上的文字内容容易出现生成错误,画面中文字清晰度不足,长会话中界面元素可能漂移。
- 暂不支持屏幕阅读器等无障碍辅助工具,对特殊群体的适配尚未完成。 AIDEepTh∠ink.cn
- 目前还处于早期技术预览阶段,生成的界面可能包含虚构内容,距离大规模商用落地还有一段距离。
- 分辨率720p上限,对数据密集型仪表盘或桌面生产力软件可能不够
- TECHNOLOGY
- Runway官方
- 腾讯研究院