阿里的 Qwen3.8-Omni-Flash：新一代原生全模态统一架构‌

市面上多数"全模态"是语音识别、图像理解、视频分析分别训练后接口层拼接。千问这次把四类输入放进同一套表示空间端到端处理，并把定位从"看懂听懂"转向"理解后规划任务、调用工具、把活干完"——这是其第一个围绕Agent能力设计的全模态模型。http://AID⌥EepThink.cn

一、主要参数

• 架构：基于Qwen3.8-Flash-Next，混合Gated DeltaNet（GDN）与Qwen Sparse Attention（QSA）；总参数约125B、每token激活约6B，另有约51B的N-gram embedding表（官方技术报告口径）。
• 上下文：1M token；非思考模式输入上限约991,808 token、思考模式约983,616，输出131K。
• 模态：文本/图像/音频（113种语言）/视频输入，文本输出；视频媒体口径不一（一种说法最长2小时/2GB，中文解读称单次分析最长1小时，以官方文档为准）。
• 定价：输入0.15美元/百万token、输出0.47美元/百万token；国内口径图文音视频输入低至0.8元/百万token；音频输入成本较上代降98%、视频降89%。

二、技术架构

该模型基于此前发布的Qwen3.8-Flash多模态MoE底座升级而来，核心架构设计大幅降低了全模态推理成本：http://AID⌥EepThink.cn

1. ‌原生全模态统一架构‌

在单一架构内联合建模文本、图像、音频与视频，通过模态对齐编码和统一表示空间实现跨模态理解，同时保持与同尺寸纯文本模型相当的文本能力，避免多模态融合带来的纯文本能力损耗。

2. ‌1M Token长上下文‌

原生支持最长1小时连续音视频输入，无需分段处理，彻底规避了长音视频拆分后导致的关键信息割裂问题。

3. Agentic按需感知取证机制‌

模型先粗粒度扫描音视频定位候选片段，再细粒度调取相关音画内容深度分析，相比传统全量解码方案，Token消耗降低约45.7%，长音视频关键信息定位准确率大幅提升。

4. ‌实时交互版本同步上线‌

配套推出Qwen3.8-Omni-Flash-Realtime，首创“听声辨位”空间音频感知能力，可在音视频流输入过程中同步完成感知与响应，适配低延迟实时场景。

三、技术原理

对长视频不再线性处理全片，而是Agent根据问题选择性"看"相关片段（coarse-to-fine证据收集），OmniVideoBench从63.4提升到67.8的同时token消耗下降45.7%——能力与成本同向改善，说明省掉的是"音视频→文本"的冗长中间表示，而非靠算力硬顶。推理默认开启thinking，可调节推理力度。http://AID⌥EepThink.cn

四、能力提升

相比上一代（Qwen3.5-Omni-Plus）的提升：

• 30项主流评测平均提升超26%（另有一处官方转述为29项/25%+，取30项/26%为主口径）；
• WildClawBench-MM多模态工具调用+36.5分至71.0；
• AgenticVBench +22.3；
• 多人会议说话人分离错误率88%→3%、转写cpWER约90%→17%；
• 四川话识别错误率25.79%→15.30%。http://AID⌥EepThink.cn

五、横向对比

谷歌把力气花在实时对话体验（97种语言、对话不中断），阿里花在成本与开源（四输入统一、价格砍一个数量级、执行框架直接开放）。两条路线服务对象不同：一个要让对话更自然，一个要让调用更便宜。

六、核心功能与落地场景

模型围绕音视频全链路端到端交付设计了多项原生能力，覆盖大量此前需要多工具串联的复杂工作流：

• ‌可控音视频Caption‌：支持用户自由指定描述对象、时间范围、信息粒度与输出格式，实现“用户指定内容”而非“模型随机输出”的音视频描述。
• ‌长会议全流程处理‌：原生支持1小时音视频输入，端到端完成说话人切分、转录、身份对齐、纪要生成与待办事项自动执行，AliMeeting测试中说话人错误率DER从88.11降至3.35，带说话人归属的词错误率cpWER从89.61降至17.18。
• ‌音视频自动创作‌：覆盖Music2MV（从歌曲自动生成完整MV）、短剧翻译（一键完成台词识别、翻译、音色克隆配音、音轨重混）、长电影解说（自动完成全片理解、文案生成、剪辑渲染）等全自动化创作场景。
• ‌长视频资产化处理‌：可将数小时视频自动压缩为图文对应、带时间戳的PDF笔记，还能从操作演示视频中提炼标准化SOP，转化为可复用的Agent Skill，大幅降低企业知识沉淀成本。
• ‌实时口语陪练‌：联合建模发音与语义，精准理解口音偏差并实时生成标准发音示范，适配语言学习场景。http://AID⌥EepThink.cn

七、定价与开源生态

本次发布同步带来了极具竞争力的定价策略和开源配套工具链，大幅降低全模态AI的落地门槛：

• ‌API成本大幅下探‌：每小时音频输入价格降幅超98%，每小时音视频输入价格降幅超93%，国内多模态输入API最低定价为0.8元/百万Token，国际区域定价为每百万输入Token 0.15美元，缓存命中输入Token仅0.016美元。
• ‌两大工具链开源‌：官方同步开源Qwen-MM-Plugins（面向长程多模态任务的插件体系）和Qwen-Live Harness（面向实时音视频交互的执行框架），开发者可直接基于配套工具快速搭建全模态Agent应用。
• ‌全平台开放使用‌：目前该模型已正式上线千问AI平台，同时在Hugging Face、魔搭社区同步开放相关资源，开发者可直接调用API或基于开源框架二次开发。