阿里开源 Qwen3.8-Flash-Next:125B/6B激活,训练成本降低了90%
阿里千问于2026年8月26日开源的Qwen3.8-Flash-Next,是Qwen4系列的架构预览原型,核心实现了125B总参数、每Token仅激活6B的极致效率,训练成本较前代Qwen3.7-Plus降低近90%,相关权重已在Hugging Face、魔搭社区同步开放。
阿里千问刚开源的 Qwen3.8-Flash-Next,是Qwen4系列正式发布前的架构预览原型,Flash系列向来以"高性价比"著称,是本地部署与生产环境的热门选择。
它最核心的突破,是用“125B总参数、每Token仅激活6B”的设计,把大模型的训练成本直接砍掉了90%,相关权重已经在Hugging Face和魔搭社区同步开放,不管是个人开发者还是中小团队,都能以极低门槛上手部署。
一、主要参数
1. 总参数配置:
Transformer主模型总参数125B,额外搭配了51B的N-gram Embedding外挂记忆库,但真正每生成一个Token,只需要激活6B参数完成核心计算,相当于用一个6B小模型的算力开销,撬动了百亿级大模型的能力。
2. 上下文能力
原生支持26万Token的长上下文窗口,靠YaRN技术还能扩展到100万Token,相当于一次性能装下一整本长篇小说,不用反复分段上传。
3. 开源版本
开源版本同时放出了基础版和Unsloth量化的FP8版本,把模型的残差流都改成FP8格式存储,进一步降低显存占用,普通消费级显卡也能尝试本地部署
4. 参数规格表
| 参数 | 规格 |
|---|---|
| 总参数 | 125B |
| N-gram Embedding | 额外51B |
| 激活参数/token | 6B |
| 架构 | 下一代Qwen4(Next MoE) |
| 上下文 | 原生262K,YaRN扩展至1M |
| 训练成本 | 较Qwen3.7-Plus降近90% |
| 性能 | 在Qwen团队基准测试中绝大多数超过DeepSeek-V4-Flash正式版 |
| 输入价格 | 1元/百万Token(约0.14美元) |
| 输出价格 | 3元/百万Token(约0.42美元) |
| 价格相对DeepSeek V4-Flash | 输入与输出均低33.33% |
| 协议 | 兼容OpenAI Chat Completions/Responses、Anthropic API |
| 首发上线 | "千问办公",API即将上线千问AI平台 |
二、技术创新
1. 混合注意力机制重构
传统大模型处理长文本时,每生成一个新Token都要把之前所有内容重新过一遍,内容越长速度越慢。这个新架构先用GDN(Gated DeltaNet)门控增量网络完成历史信息的轻量化压缩,再通过Qwen稀疏注意力 (QSA:Qwen Sparse Attention)仅筛选当前计算所需的关键内容,100万Token的场景下,推理效率较传统稠密模型提升8倍,彻底解决了长文本场景下算力随长度线性膨胀的痛点。
2. 门控残差替代传统残差流
不让早期信息“跑着跑着就丢了**”传统Transformer模型只有一条信息传输通道,内容传到深层时,最开头的信息很容易被稀释。它把单条通道扩展成4条并行分支,通过动态门控完成信息的选择性读写,既避免了深层网络的早期信息稀释,也在不增加计算量的前提下大幅提升了训练稳定性。
3. 分层存储的N-gram记忆库
51B规模的短语级N-gram Embedding层没有放在昂贵的GPU显存里,而是放在普通的系统RAM中,通过异步预取和计算重叠的方式加载,几乎不占用GPU的计算时间,相当于用以极低的硬件成本给模型加了一个短语级的查表记忆库,大幅提升了生成内容的流畅度和准确性。
4. Muon优化器的深度适配
针对新架构重新拟合Scaling Law,取消传统训练流程中的批次预热环节,支持更大学习率与更大批量训练,直接将训练吞吐量提升数倍,最终实现整体训练成本较前代Qwen3.7-Plus下降90%。
三、性能与定位
1. 核心评测领先
- 办公任务:Qwen3.8-Flash-Next在CoWorkBench基准得分73.9,远超Claude Opus 4.6的45.1分
- 编程任务:在SWE-bench Pro上得分61.7,领先Claude Opus4.6达9.1分
- 多模态智能体:在OSWorld-Verified桌面智能体评测中拿到84.3的高分,显著高于同级别其他开源模型
2. 成本优势落地
训练成本仅为前代Qwen3.7-Plus的1/9,对应推理API定价每百万输入Token 0.8元、输出2.7元,仅为Claude Opus4.6的3%左右
3. 定位价值
作为Qwen4架构的公开预览版,提前向社区开放完整框架,用于开发者适配、部署优化与应用探索,为后续正式版Qwen4积累真实场景反馈
4. 横向对比
| 模型 | 总参数规模 | 单Token激活参数 | 原生上下文 | 训练成本相对前代降幅 |
|---|---|---|---|---|
| Qwen3.8-Flash-Next | 125B + 51B N-gram Embedding | 6B | 262K | 90% |
| DeepSeek V4 Flash | 1.6T | 约80B | 512K | 约60% |
| GLM-5.3-Flash | 320B | 18B | 256K | 约70% |
| Qwen3.6-27B | 27B(稠密) | 27B | 262K | 约30% |
四、成本与定价
1. 训练成本
Qwen3.8-Flash-Next仅为前代Qwen3.7-Plus的1/9,较DeepSeek V4 Flash低约70%
2. API定价(单位:元/百万Tokens)
- Qwen3.8-Flash-Next:输入1元、输出3元
- DeepSeek V4 Flash:高峰时段输入3元、输出9元
- GLM-5.3-Flash:半价时段输入0.4元、输出1.4元
3. 推理效率
1M长上下文场景下,Qwen3.8-Flash-Next推理速度较DeepSeek V4 Flash快8倍以上
五、应用场景
- 对企业IT:用Qwen3.8-Flash-Next替换部分DeepSeek V4-Flash调用,按月度Token消耗计算成本节省。
- 对推理基础设施:评估在自有GPU集群上部署125B MoE的可行性(128GB统一内存+MLX或llama.cpp + 专家卸载)。
- 试点流程:选2-3个高频代码生成/办公场景,配置Qwen3.8-Flash-Next作为默认模型,监控响应时间/准确率/成本三指标。
总结
- "超大总参数-超小激活"路径被开源前沿模型首次跑通:125B/6B是当前开源MoE中激活率最低之一,证明"超稀疏"是可行的效率路线。
- 训练成本降90%:意味着同等算力预算下可训练的迭代次数提升10倍,是Scaling Law进入"推理成本主导"阶段的标志性数据。
- 与DeepSeek价格战白热化:继DeepSeek V4-Pro 8月17日提价350%后,Qwen3.8-Flash-Next以"价格更低33%"正面回击。
- 阿里社区
- IT168
- CSDN