⚡ 前沿动态

阿里开源 Qwen3.8-Flash-Next:125B/6B激活,训练成本降低了90%

🕐 2026.08.27 星期四 来源 · 媒体 🔥 233 次点击

阿里千问于2026年8月26日开源的Qwen3.8-Flash-Next,是Qwen4系列的架构预览原型,核心实现了125B总参数、每Token仅激活6B的极致效率,训练成本较前代Qwen3.7-Plus降低近90%,相关权重已在Hugging Face、魔搭社区同步开放。

阿里千问刚开源的 Qwen3.8-Flash-Next,是Qwen4系列正式发布前的架构预览原型,Flash系列向来以"高性价比"著称,是本地部署与生产环境的热门选择。

它最核心的突破,是用“125B总参数、每Token仅激活6B”的设计,把大模型的训练成本直接砍掉了90%,相关权重已经在Hugging Face和魔搭社区同步开放,不管是个人开发者还是中小团队,都能以极低门槛上手部署。

一、主要参数

1. 总参数配置‌:

Transformer主模型总参数125B,额外搭配了51B的N-gram Embedding外挂记忆库,但真正每生成一个Token,只需要激活6B参数完成核心计算,相当于用一个6B小模型的算力开销,撬动了百亿级大模型的能力。

2. 上下文能力‌

原生支持26万Token的长上下文窗口,靠YaRN技术还能扩展到100万Token,相当于一次性能装下一整本长篇小说,不用反复分段上传。

3. 开源版本‌

开源版本同时放出了基础版和Unsloth量化的FP8版本,把模型的残差流都改成FP8格式存储,进一步降低显存占用,普通消费级显卡也能尝试本地部署

4. 参数规格表

参数 规格
总参数 125B
N-gram Embedding 额外51B
激活参数/token 6B
架构 下一代Qwen4(Next MoE)
上下文 原生262K,YaRN扩展至1M
训练成本 较Qwen3.7-Plus降近90%
性能 在Qwen团队基准测试中绝大多数超过DeepSeek-V4-Flash正式版
输入价格 1元/百万Token(约0.14美元)
输出价格 3元/百万Token(约0.42美元)
价格相对DeepSeek V4-Flash 输入与输出均低33.33%
协议 兼容OpenAI Chat Completions/Responses、Anthropic API
首发上线 "千问办公",API即将上线千问AI平台

二、技术创新

1. 混合注意力机制重构‌

传统大模型处理长文本时,每生成一个新Token都要把之前所有内容重新过一遍,内容越长速度越慢。这个新架构先用GDN(Gated DeltaNet)门控增量网络完成历史信息的轻量化压缩,再通过Qwen稀疏注意力 (QSA:Qwen Sparse Attention)仅筛选当前计算所需的关键内容,100万Token的场景下,推理效率较传统稠密模型提升8倍,彻底解决了长文本场景下算力随长度线性膨胀的痛点。

2. 门控残差替代传统残差流‌

不让早期信息“跑着跑着就丢了**”传统Transformer模型只有一条信息传输通道,内容传到深层时,最开头的信息很容易被稀释。它把单条通道扩展成4条并行分支,通过动态门控完成信息的选择性读写,既避免了深层网络的早期信息稀释,也在不增加计算量的前提下大幅提升了训练稳定性。

3. ‌分层存储的N-gram记忆库‌

51B规模的短语级N-gram Embedding层没有放在昂贵的GPU显存里,而是放在普通的系统RAM中,通过异步预取和计算重叠的方式加载,几乎不占用GPU的计算时间,相当于用以极低的硬件成本给模型加了一个短语级的查表记忆库,大幅提升了生成内容的流畅度和准确性。

4. Muon优化器的深度适配‌

针对新架构重新拟合Scaling Law,取消传统训练流程中的批次预热环节,支持更大学习率与更大批量训练,直接将训练吞吐量提升数倍,最终实现整体训练成本较前代Qwen3.7-Plus下降90%。

三、性能与定位

1. 核心评测领先‌

  • 办公任务‌:Qwen3.8-Flash-Next在CoWorkBench基准得分73.9,远超Claude Opus 4.6的45.1分
  • ‌编程任务‌:在SWE-bench Pro上得分61.7,领先Claude Opus4.6达9.1分
  • ‌多模态智能体‌:在OSWorld-Verified桌面智能体评测中拿到84.3的高分,显著高于同级别其他开源模型

2. 成本优势落地‌

训练成本仅为前代Qwen3.7-Plus的1/9,对应推理API定价每百万输入Token 0.8元、输出2.7元,仅为Claude Opus4.6的3%左右

3. 定位价值‌

作为Qwen4架构的公开预览版,提前向社区开放完整框架,用于开发者适配、部署优化与应用探索,为后续正式版Qwen4积累真实场景反馈

4. 横向对比

模型 总参数规模 单Token激活参数 原生上下文 训练成本相对前代降幅
Qwen3.8-Flash-Next 125B + 51B N-gram Embedding 6B 262K 90%
DeepSeek V4 Flash 1.6T 约80B 512K 约60%
GLM-5.3-Flash 320B 18B 256K 约70%
Qwen3.6-27B 27B(稠密) 27B 262K 约30%

四、成本与定价

1. 训练成本‌

Qwen3.8-Flash-Next仅为前代Qwen3.7-Plus的1/9,较DeepSeek V4 Flash低约70%

2. API定价(单位:元/百万Tokens)‌

  • Qwen3.8-Flash-Next:输入1元、输出3元
  • DeepSeek V4 Flash:高峰时段输入3元、输出9元
  • GLM-5.3-Flash:半价时段输入0.4元、输出1.4元

3. ‌推理效率‌

1M长上下文场景下,Qwen3.8-Flash-Next推理速度较DeepSeek V4 Flash快8倍以上

五、应用场景

  • 对企业IT:用Qwen3.8-Flash-Next替换部分DeepSeek V4-Flash调用,按月度Token消耗计算成本节省。
  • 对推理基础设施:评估在自有GPU集群上部署125B MoE的可行性(128GB统一内存+MLX或llama.cpp + 专家卸载)。
  • 试点流程:选2-3个高频代码生成/办公场景,配置Qwen3.8-Flash-Next作为默认模型,监控响应时间/准确率/成本三指标。

总结

  1. "超大总参数-超小激活"路径被开源前沿模型首次跑通:125B/6B是当前开源MoE中激活率最低之一,证明"超稀疏"是可行的效率路线。
  2. 训练成本降90%:意味着同等算力预算下可训练的迭代次数提升10倍,是Scaling Law进入"推理成本主导"阶段的标志性数据。
  3. 与DeepSeek价格战白热化:继DeepSeek V4-Pro 8月17日提价350%后,Qwen3.8-Flash-Next以"价格更低33%"正面回击。
声明:文中数据及部分观点来源于网络,部分观点来源于个人分析和推理,仅供参考,不构成投资或商业决策建议。
资料来源
  1. 阿里社区
  2. IT168
  3. CSDN
← 返回 [前沿动态]