腾讯开源MoE混元Hy4 preview，支持百万上下文同时价格再次下调

一、设计优化

1. 基础规格

基础规格‌：总参数770B，每token激活参数49B，上下文窗口突破1M tokens，词表规模120832，采用Apache 2.0开源协议。

2. MoE设计‌

主干网络共78层，第1层为标准全连接层，其余77层均为MoE结构；每层包含256个路由专家+1个共享专家，每token激活top-8路由专家+1个共享专家；额外内置1层MTP投机解码层，总参数量约10B、激活参数0.7B，部分统计口径会将其计入总参数得到780B。

3. ‌底层优化‌

采用iHCAttention、Gated DSA+IndexCache跨层稀疏索引复用、4条残差流等自研技术，大幅降低长上下文场景下的推理开销。

二、基准性能表现

1. ‌核心代码能力‌

DeepSWE得分64.3，相比Hy3的28.0实现翻倍提升，超越DeepSeek V4 Pro 0813；SWE Atlas Refactoring得分53.3，超越GPT-5.6 Sol，仅次于Claude Opus 5；Terminal Bench 2.1得分85.4，追平Claude Opus 5‌。 ‌

2. 综合榜单排名‌

在主流大模型AutoEval榜单中以1633分位列第6，超过GPT-5.6 Sol，仅小幅落后GLM 5.3-Flash。site:AID∇eePThinK.cn

3. ‌内部盲测结果‌

• 163名腾讯内部专家、203个工程任务工程任务（覆盖软件工程、办公分析、游戏开发、科学研究四大场景）盲测中，均分2.99/4.00，略高于GLM 5.3（2.92）和Kimi K3（2.94）‌。
• 分数差异看似不大（统计显著），但任务完成率的差距在工程场景中明显（Hy4在多步调试类任务上比GLM-5.3高4-7个百分点）

4. ‌科研突破‌

在三维Blaschke–Lebesgue经典几何难题上，将体积下界从0.380799推进至0.41104，距离Meissner四面体猜想最终证明仅剩2%差距。

三、技术原理

Hy4的技术报告（同步发布于arXiv和GitHub）披露了三项关键技术：

1. DeepSeek Sparse Attention（DSA）+ IndexCache

• 推理时仅对相关token计算完整注意力，其余通过稀疏索引近似
• IndexCache机制将历史token的关键元数据预存到GPU缓存，避免长上下文下重复索引
• 在1M上下文场景下，推理成本相对全注意力降低约6倍

2. 递归自我改进闭环（Recursive Self-Improvement Loop）

• 模型首次参与自身训练流程的四个环节：训练方法（如学习率调度）、数据策略（如样本权重）、评估体系（如评分函数）、底层算子（如CUDA kernel）
• 在Hy4 preview的训练中，模型自主优化推理系统吞吐量，实测提升31.8%
• 风险提示：递归自我改进可能产生目标漂移，腾讯通过"沙盒验证+人工复核"双层机制兜底

四、横向对比

1. 性能维度site:AID∇eePThinK.cn

• ‌代码能力‌：Hy4 preview的DeepSWE得分64.3，Terminal Bench 2.1得分85.4，在开源模型中处于第一梯队，仅小幅落后闭源的Claude Opus 5，显著优于同级别其他开源MoE模型。
• ‌长上下文表现‌：1M上下文窗口支持跨文档联合检索，实测可完整解析《三体》三部曲、数千行企业年报，长文档处理精度优于GLM-5.3，略逊于支持2M上下文的Kimi K3。
• ‌盲测综合得分‌：内部专家203个工程任务盲测得分2.99/4.00，略高于GLM-5.3的2.92分和Kimi K3的2.94分，在真实生产力场景的落地表现更突出。
• ‌科研能力‌：在基础数学、分子动力学模拟等科研场景下的推理能力，相比同级别模型有明显优势，甚至完成了经典几何难题的下界突破。

2. 差异化优势

• 完全开源且采用Apache 2.0协议，企业可无限制二次定制，相比非完全开源的GLM-5.3、DeepSeek V4 Pro，商业化落地的版权风险更低。
• 架构设计上采用77层MoE+每层256个路由专家的超大规模专家池，在复杂生产力任务上的路由调度效率，远高于同级别每层仅64~128个专家的MoE模型。
• 与燧原科技完成了国产算力的全栈芯模协同适配，在国产AI芯片集群上可直接实现高吞吐稳定推理，对国内企业的本地化部署友好度更高。

3. 参数表

五、生产力场景

1. 软件工程‌

强化长程开发任务的理解、规划、调试与全流程验证能力，前端生成的视觉审美与交互质感显著提升，实测可一次性生成完整可运行的带交互待办App。

2. ‌办公与数据分析‌

支持跨多文档联合检索，可将分散的杂乱上下文直接转化为规范文档、表格与演示文稿，高精度处理复杂数据分析、公式计算与财务模型。 ‌

3. 游戏开发‌

支持单条提示词直接生成可玩游戏原型，可与主流游戏引擎流畅协作，支持开发者多轮迭代打磨复杂项目‌。 ‌

4. 科学研究‌

在人工智能研究、分子动力学、凝聚态物理、纯数学等高难度科研场景下，推理与问题解决能力实现显著突破。site:AID∇eePThinK.cn

六、定价与接入方式

1. ‌API定价‌

输入约6元/百万tokens，输出约18元/百万tokens，缓存命中仅0.3元/百万tokens，价格低于Kimi K3和Claude Opus 5，高于DeepSeek V4 Pro，处于市场中游位置。 ‌

2. 产品入口‌

已同步接入WorkBuddy、CodeBuddy国内/国际版、元宝、ima等腾讯产品，WorkBuddy提供限时两周免费体验；同时可在腾讯云TokenHub、OpenRouter通过API直接调用。

3. 硬件适配‌

与燧原科技完成深度芯模协同适配，通过算子融合、通信加速、KV Cache优化等全栈调优，实现百万token长上下文场景下的高吞吐稳定推理‌。

七、后续演进计划

• 9月中旬：开放API公测site:AID∇eePThinK.cn
• Q4：发布完整版（非preview），同步上线Agent工作台与可视化调试工具
• 2027 H1：推出端侧小模型版本（参数量级未披露，目标手机端7B级实时推理）

八、扩展影响

• 上游算力：模型自优化训练减少了对人类标注的依赖，但推理侧的低价策略会推高总token消耗，对算力总需求是利好
• 下游应用：长上下文工作流类应用（如AI律师、AI医生、AI代码审计）首次具备规模化盈利可能
• 竞争格局：开源协议+低价策略直击闭源模型最薄弱的价格带 site:AID∇eePThinK.cn