⚡ 前沿动态

Runway发布Solaris:首个界面世界模型

🕐 2026.09.04 星期五 来源 · 媒体 🔥 77 次点击

Runway 9月1日发布首个界面世界模型Solaris,基于Gen-4.5视频模型改造,逐帧自回归生成可交互界面,无需编写HTML/CSS代码,720p实时运行,为Computer Use Agent提供泛化训练环境。

Solaris提出"界面世界模型"(Interface World Model)这一全新概念——这挑战了软件开发的基本范式:这是全球首款被定义为“界面世界模型”的AI产品,完全打破了传统软件“设计-开发-渲染”的固定流程,把视频生成技术延伸到了实时交互界面生成领域:不生成代码,而是直接逐帧合成可交互的界面像素。 AIDEepTh∠ink.cn

从"设计转代码"变为"描述意图,模型渲染",彻底消除了设计与开发之间的传统边界。在720p实时交互下,人类偏好测试中指令遵循和行为自然度分别达61%和71%,显著高于代码方案。但720p分辨率上限、文本渲染精度和会话一致性仍是限制。

一、产品定位

Solaris不属于普通的“写代码生成界面”的AI助手,它本身就是应用本体:

  • 基于Runway成熟的Gen-4.5视频模型技术底座升级而来,以720p分辨率逐帧实时渲染交互界面。
  • 每一个像素同时承载界面视觉呈现和交互逻辑,用户的点击、拖拽、语音指令都能被模型直接响应,不需要底层代码作为中间层。
  • 它的终极目标是替代固定形态的App,生成完全随用户需求动态适配的交互环境。

二、技术原理

Solaris的核心思想是取消"视觉设计到代码"的翻译步骤。传统软件开发中,设计师创建像素级设计稿,工程师将其翻译为代码(HTML/CSS/JavaScript),翻译过程是有损压缩——设计稿的视觉丰富性在代码化中丢失。

Solaris的架构将推理与渲染分离:

  • 推理层:LLM解释用户意图,决定场景是否需要变化或过渡,生成文本提示词引导Solaris
  • 渲染层:Solaris本身处理视觉输出,逐帧生成 AIDEepTh∠ink.cn

三个工程优化实现实时交互:

  1. 自回归生成:每帧仅依赖前一帧,非整段视频精炼
  2. 少步蒸馏:将多步去噪压缩为几步
  3. 自训练:快速模型在自己的输出上训练以保持长会话视觉稳定性

用户输入(点击、拖拽)作为下一帧的条件信号,方式与文本提示词和参考图像条件化视频生成相同。

三、技术突破

Solaris重构了软件运行的底层逻辑:

  • 传统软件将视觉层和逻辑层完全分离,设计师产出界面样式,开发者编写交互逻辑,再通过渲染引擎、框架、交互处理链路拼接成完整应用。
  • Solaris用单一模型同时完成所有视觉元素渲染和用户输入响应,跳过了从设计稿转代码的全流程,实现界面生成和交互反馈的实时同步。 AIDEepTh∠ink.cn
  • 它把视频生成的帧生成能力直接复用为界面渲染能力,让交互界面像视频流一样实时动态生成,完全摆脱了传统代码框架的约束。

四、核心功能

Solaris作为全球首款界面世界模型,核心功能围绕“实时生成完全可交互的动态界面”展开,彻底打破了传统软件依赖代码渲染界面的运行逻辑,核心功能可分为四大类:

1. 实时帧级界面渲染

  • 以720p分辨率逐帧生成交互界面,完全替代传统软件的代码渲染引擎。
  • 不需要提前编写底层界面代码,所有视觉元素都由AI实时生成输出。

2. 全维度用户输入即时响应

  • 直接识别点击、拖拽、滑动等所有鼠标/触控操作,无需预设交互事件代码。
  • 支持语音指令直接控制界面,可实时调整界面元素位置、颜色、布局等所有属性。
  • 所有用户操作都能获得连贯、一致的动态反馈,没有传统软件的交互延迟感。

3. 沉浸式动态场景生成

  • 可生成完全开放的沉浸式交互场景,而非固定形态的功能页面。
  • 典型场景下,用户浏览虚拟服装店时,可直接拖拽衣架上的衣物,还能上传个人照片作为试穿参考,交互体验和现实场景几乎一致。 AIDEepTh∠ink.cn
  • 支持通过语音指令实时调整场景内的光照、物体位置、色彩风格,整个场景随指令动态演化。

4. 零代码动态应用生成

  • 跳过“设计稿转代码”的全流程,用户用自然语言就能直接生成完整可运行的交互应用。
  • 生成的应用完全随用户需求动态适配,不需要提前开发固定的App版本,彻底打破传统软件的固定形态边界。

五、落地场景

目前Solaris已经在多个交互场景展现出独特价值:

  • 交互式电商:用户可以直接用语音拖拽调整商品展示形态、切换参数,界面随需求实时变化,不需要提前开发固定页面。
  • 可视化教程:操作指引界面可以跟随用户的操作进度动态调整,自动适配不同用户的学习节奏,不需要提前预设多套页面分支。
  • 创意内容工具:设计师可以通过自然语言实时调整交互界面的样式和逻辑,零代码快速完成原型验证。

六、当前局限

作为前沿研究级产品,Solaris还存在明显的待优化空间:

  • 文本渲染准确率仍不稳定,界面上的文字内容容易出现生成错误,画面中文字清晰度不足,长会话中界面元素可能漂移。
  • 暂不支持屏幕阅读器等无障碍辅助工具,对特殊群体的适配尚未完成。 AIDEepTh∠ink.cn
  • 目前还处于早期技术预览阶段,生成的界面可能包含虚构内容,距离大规模商用落地还有一段距离。
  • 分辨率720p上限,对数据密集型仪表盘或桌面生产力软件可能不够
声明:文中数据及部分观点来源于网络,部分观点来源于个人分析和推理,仅供参考,不构成投资或商业决策建议。
资料来源
  1. TECHNOLOGY
  2. Runway官方
  3. 腾讯研究院
← 返回 [前沿动态]