微信开源WeMM-Embedding多模态嵌入模型

微信AI（视觉团队）将线上日调用量十亿级的生产模型 WeMM-Embedding 完整开源，含 2B/4B/9B 三档，权重、推理代码、评测工具全开放。9B 版在 MMEB-v2（78个数据集的多模态嵌入权威榜单）以 80.6 分登顶（榜单快照截至2026-08-24），2B 版以 77.9 分反超参数四倍于它的 Qwen3-VL-Embedding-8B（77.8）。

一、架构革新

1. 统一架构

Embedding 模型不做生成，只把内容压成一个向量，语义越近向量夹角越小——它是搜索推荐系统背后的“度量衡”。上一代多模态嵌入模型（CLIP 一系）多用双编码器：图像、文字各走各的编码器，最后才对齐。效率高、向量可缓存，但真实内容是交错的——一篇公众号文章图文穿插，双塔拆开处理就丢了“顺序与互补”这层语义。

WeMM-Embedding 基于 Qwen3.5 多模态架构做统一骨干：图、文、视频先转成各自的 token，再按原始顺序排成一条序列送进同一个模型，序列末尾放一个专用 token，其最后层隐藏状态经 L2 归一化后就是整段内容的向量。这个设计还“白送”了一个能力——一次前向计算里，在视频后放一个 token 得纯视频表示，补上字幕再放一个 token 得视听联合表示，多层次表示不用跑多遍模型。

2. 两阶段训练——先“见得广”，再“分得细”

阶段一的坑在于：数亿级数据里同一内容会重复出现，batch 内“同源不同样本”会被误当负例推远，模型从错误信号里学坏。重复感知掩码在训练中动态屏蔽这类可疑负例；消融实验显示，按任务组织 batch、提供有效负样本，是第一阶段影响最大的设计。阶段二做语义重采样降重复曝光、补“粉色连衣裙 vs 红色连衣裙”这类困难负样本，再叠加重排序监督；最后让 9B 当教师给 2B/4B 蒸馏——教的不是标准答案，而是“第二名和第一名差多少”的完整相似度结构。

3. MRL 套娃表示——精度和成本做成可调旋钮

向量维度直接决定向量库的存储、内存和检索延迟。WeMM 用 Matryoshka 表示学习，训练时同时考核 64/128/256/512/1024 直至全维度（9B全维4096，2B/4B为2048），迫使信息按重要性“前置”：前256维保住核心语义，后面维度只补细节。官方数据：2B 模型取256维仍保留完整维度下98.7%的图像/视频性能——向量长度砍到1/8，检索效果基本不变。业务侧一次推理、按成本截断，粗筛用短向量、精排用长向量。

二、WeMM-Embedding 技术拆解

腾讯微信团队8月底至9月4日开源的通用多模态嵌入模型（2B/4B/9B 三档），基于 Qwen3.5 多模态架构做统一骨干，把文本、图像、视频、视觉文档及任意交错组合编码到同一向量空间（输出 L2 归一化向量；9B 全维 4096，2B/4B 为 2048）。 三个关键技术决策

1. 统一架构替代双编码器

图文视频按原始顺序混排成一条序列进同一模型，保住交错内容的顺序与互补语义；末尾专用 token 汇集全序列信息，一次前向可多层提取（纯视频 / 视频+字幕联合）表示。

2. 两阶段训练 + 三件套

数亿级对比学习（配重复感知掩码防假负例）→ 语义重采样 + 困难负样本 + 重排序监督 → 9B 对 2B/4B 做嵌入蒸馏（传递完整相似度关系而非单点答案，2B 蒸馏 +0.9 分）。结果是 2B（77.9）反超 8B 基线（77.8）——这一档任务上，数据与训练质量比堆参数更值钱。

3. MRL 套娃表示

一次推理产出全维向量，业务按需截断到 64/128/256…维。256 维保留 98.7% 性能、存储降到 1/8，粗筛用短向量、精排用长向量——这是生产系统思维，不是论文思维。

三、解决的问题

多模态嵌入模型需要同时理解文字、图片、视频并在同一语义空间检索。现有开源模型在规模和性能之间存在权衡——大模型性能好但部署成本高，小模型成本低但性能不足。WeMM-Embedding的2B版本以77.9分超过8B开源模型，在性能-成本曲线上实现了显著改善。

四、应用场景

1. 推荐系统——多模态内容理解和匹配，已验证于微信十亿级日调用场景
2. 搜索——图文视频统一语义检索
3. RAG（检索增强生成）——多模态知识库检索

附信源：

论文 arXiv:2608.24053，代码在 github.com/Tencent/WeMM-Embedding