腾讯混元Hy4 preview轻量版：1.5TB压缩至214GB

腾讯混元9月1日发布Hy4 preview轻量版，通过Sherry稀疏三值量化和MIX-STQ1_0混合精度将1.5TB权重压缩至214GB，性能基本持平，异构设备联合推理达1.02 token/s，已在Hugging Face开源。

7700亿参数MoE模型从1.5TB压缩至214GB（压缩率超85%），使旗舰模型在消费级硬件上运行成为可能。Sherry稀疏三值量化算法将权重压至平均1.25比特，是极激进的量化方案。异构设备联合推理方案（4090笔记本+四卡A4000跨局域网跑1.02 token/s）为资源有限的开发者提供了运行旗舰模型的新路径。

一、基础参数

• 总参数量达‌7700亿‌，实际激活使用参数为490亿，保留了原版大模型的核心能力。
• 上下文窗口完整保留‌100万Token‌，可一次性完整加载《三体》三部曲这类长篇内容，全程不丢失关键信息。

二、技术原理

1. Sherry稀疏三值量化算法

将每4个权重分为一组，量化为{-1, 0, +1}，每组固定一个零值。32种组合用5比特索引编码，摊到每个权重平均1.25比特。计入分块共享的缩放系数等额外开销，实际文件约1.31 bpw。

2. MIX-STQ1_0混合精度策略

不再全部层统一比特，而是依据校准数据判断各层敏感度。敏感层保留2.06比特IQ2_XXS精度，不敏感层使用1.31比特STQ1_0，在不提升平均比特开销前提下降低量化误差，比UD-IQ1_M方案节省5GB以上存储。

3 异构设备联合推理

腾讯混元与prima.cpp合作验证：在一台单张4090笔记本和一台四卡A4000服务器上（合计80GB显存、64GB内存，分属两个局域网），通过prima.cpp异构调度将MoE层拆开分配，214GB轻量版跑出1.02 token/s，比笔记本单机offload快约6倍。

三、性能表现

• 依托自研的混合精度量化与结构化剪枝两项核心技术，在大幅缩小模型体积的同时，把性能损失控制在极小范围。
• 长文档理解、多轮长上下文检索能力几乎和原版1.5TB模型完全持平，代码编写、数学推理能力仅出现小幅回落，日常使用几乎感知不到差异。
• 实测可稳定覆盖编码辅助、工具调用、长文档处理、常规问答等主流生产级任务。

四、部署能力

支持跨设备协同拆分推理，可把214GB的模型拆分到多台不同设备上联合运行，哪怕普通笔记本和远端服务器不在同一局域网，也能“拼算力”共同跑通模型。

相比单机硬扛，分布式协同推理的速度可提升约6倍，大幅降低了大模型的部署硬件门槛。

五、试用

• 客户端入口：WorkBuddy、腾讯元宝、CodeBuddy等产品已上线该模型，WorkBuddy限免体验持续到9月10日，用户可直接在模型选择菜单中切换使用。
• API入口：腾讯云TokenHub、OpenRouter两大平台均已上线Hy4 preview轻量版的调用接口，开发者可直接接入业务流程。