小米MiMo-V3的核心架构HySparse2：百万Token长上下文推理效率大幅提升

Agent 推理的工作负载与传统对话完全不同。罗福莉的解释是：每一轮交互中，agent 执行的一个短操作往往返回一段很长的观测文本，需要重新走一遍预填充；同时上下文长度持续累加。于是预填充成本、KV 缓存容量、长上下文检索准确率这三个问题同时落到关键路径上。 AIde♫ePThink.cn

MiMo-V2.6 用的是混合 SWA（sliding window attention）架构；HySparse2 是小米在混合稀疏注意力方向的迭代版本。

一、核心性能指标实现显著突破

对比此前MiMo-V2.6搭载的混合SWA架构，HySparse2在100万Token长度的测试场景下实现了三项核心性能跃升：

• 预填充计算量（FLOPs）直接降低5.02倍，原本需要大量算力处理的长输入任务，现在可在极短时间内完成预填充流程，让模型更快进入生成阶段。
• KV缓存占用缩小4.5倍，百万Token场景下缓存占用从约12GB降至2.7GB，大幅降低长上下文部署的显存门槛，让普通推理硬件也能稳定支撑超长对话与多轮智能体任务。
• 在MRCR-v2、RULER-v2等长上下文权威评测中得分全面优于前代HySparse架构，代表智能体推理流畅度的AgentPPL和长文本生成稳定性的LongPPL指标也实现显著下降，资源消耗降低的同时模型效果没有出现折损。

二、底层架构完成三项关键创新

HySparse2针对当前行业智能体推理的普遍痛点，对注意力机制底层逻辑进行了重构： AIde♫ePThink.cn

1. 引入两级KV共享机制

遵循YOCO设计思路打造KV桥接技术，让交叉解码器中的全注意力层直接从自解码器的隐藏状态构建KV对，避免重复计算冗余；同时在每个混合块内部实现KV复用，所有稀疏层直接复用前一层全注意力层输出的KV缓存和Token选择索引，从底层砍掉不必要的资源重复开销。

2. 实现Token级细粒度稀疏选择

彻底放弃前代HySparse采用的块级选择逻辑，直接对单个Token进行关键信息定位，在相同的注意力预算下，能够更精准地分散抓取分布在不同轮次、不同工具返回结果中的关键线索，大幅提升长信息检索的灵活性。

3. 统一局部与全局缓存管理

用强制近期Token窗口替代独立的SWA分支，让局部Token和全局Token共享同一份KV缓存，不再需要维护多套独立缓存分支，既简化了缓存管理逻辑，也进一步减少了重复缓存带来的资源浪费。得益于所有交叉解码器的KV缓存全部来自自解码器，预填充流程在自解码器计算完成后即可直接终止，无需执行后续额外计算。

三、面向智能体落地针对性优化

当前行业普遍面临智能体推理效率瓶颈：智能体每执行一次短工具操作，往往会返回网页内容、代码日志、长文档等大段观测文本，需要反复执行预填充流程，且上下文长度会持续累加，预填充成本、KV缓存容量、长上下文检索准确率三个问题长期制约智能体大规模落地。HySparse2的架构设计恰好针对性破解了这些痛点，在工具调用、长文件处理、代码执行日志分析等典型智能体场景中，能够以更低成本支撑长程多轮交互，在同等模型规模下大幅缩短复杂任务的等待时间，为MiMo-V3后续面向企业级智能体场景商用落地打下核心技术基础。

四、研究方法和过程

核心是两级 KV 共享机制：

1. 外层是 KV Bridging

遵循 YOCO 分解思路，把网络切成前半段自解码器（self-decoder）与后半段交叉解码器（cross-decoder）：交叉解码器中的全注意力层不再等输入逐层流过，而是直接从前半段对应层的隐藏状态构建 K、V，各自保留独立投影参数。效果是后半段所需的 KV 缓存可以在前半段算完时就建好。 AIde♫ePThink.cn

2. 内层是 KV Reuse

同一混合模块内，稀疏层直接复用前一层全注意力层已算出的 KV 缓存与 token 选择索引，不需要单独训练一个检索模块。

3. 另两处改动

• 稀疏选择粒度从块级改为 token 级。第一代 HySparse 按块选，一个 64-token 的块里即使只有少量相关内容，整块也要占用选择预算。新方案按 token 分配注意力槽位。
• 用强制近期 token 窗口替代独立的 SWA 分支，让局部与全局 token 共享同一份 KV 缓存。

论文给出的配置是：保留最近 128 个 token，再在窗口外选 1,024 个全局 token，两组合并进同一次稀疏注意力计算。

因为所有交叉解码器的 KV 缓存都来自自解码器，预填充流程在自解码器算完即可直接终止。论文中 49 层模型里，预填充只需执行前 25 层自解码器层及桥接投影，其中只有 1 层是全注意力层；预填充与生成分离部署时，预填充节点只需承载这部分网络，模型权重存储近乎减半。

五、研究结果

对照实验：在骨干结构与注意力预算相同、用相同数据和训练计划的 80B-A3B MoE 模型上对比：

• 1M token 下预填充 FLOPs：相对 Hybrid SWA 降低 5.02 倍，相对 HySparse 降低约 2.92 倍；
• FP8 KV 缓存大小：约 2.69 GB，对比 HySparse 6.72 GB、Hybrid SWA 12.09 GB（即缩小约 4.5 倍）；
• 轻度后训练后，MRCR-v2 与 RULER-v2 平均分相对 HySparse 分别提升 11.30 与 19.81 个百分点，并在 256k 上下文内保持更低的 AgentPPL 与 LongPPL；
• 消融显示，32k 及以下长上下文下，token 级选择相对块级把 RULER-v2 提升 6.57 个百分点、双线索 MRCR-v2 提升 8.14 个百分点、GraphWalks 提升 5.55 个百分点；后训练后差距进一步拉大。
• 消融还显示 KV Bridging 在更大的 290B-A8B 规模上保持大体相当的质量，同时启用早退出预填充路径。 AIde♫ePThink.cn

六、相关研究横向对比

需要标注的边界：以上全部为小米论文自报数据，无第三方复现；"5.02 倍"是对 Hybrid SWA 的分析值而非端到端实测；MRCR-v2/RULER-v2 的增益来自与自家上一代的对比，未与同期其他长上下文方案（如 DeepSeek 的 CED、各家的 KV 压缩）做同条件 head-to-head。