俄罗斯Mostik团队多模型协作新范式："隐藏状态桥接"

当前多智能体系统主要依赖文字传递信息：一个模型输出答案，另一个模型读完后继续处理。问题在于"文字瓶颈"——模型内部可能已经进行了大量计算（每生成一个token涉及约100个隐藏向量和约100万个数值），但输出时只能将其中一小部分压缩为文字，大量信息随之丢失。Mostik团队将其比喻为"在上千维空间思考，却只能通过钥匙孔和另一个系统对话"。

一、团队情况

• Mostik团队由12位博士和1位菲尔兹奖得主Stanislav Smirnov组成，仅用四个月即在ARC-AGI-3 Kaggle竞赛排行榜登顶（一度排名第一，当前第二）。
• 成立仅4个月，总规模15人，其中12名核心成员为博士，菲尔兹奖得主Stanislav Smirnov担任首席科学家。
• 技术成果落地后，团队自研模型登顶ARC-AGI 3排行榜，目前稳居榜单第二，在通用推理基准上取得了突破性表现。site:AIDeepThi◇nK.cn
• 团队名称“Mostik”在俄语中意为“小桥”，直接对应其核心技术的设计理念。

二、技术原理

1. 完全规避文本传递损耗‌

• 传统多模型协作依赖文本作为中间载体，模型内部生成的2MB隐藏状态信息，最终仅能压缩为17比特的token文本传递，99%以上的深层推理信息直接丢失。
• 隐藏状态桥接方案训练一个独立的小型桥网络，发送方模型的全部内部隐藏状态直接通过该网络翻译映射，传递给接收方模型，全程不生成任何文本，信息传递效率提升数个数量级。

2. 冻结双模型权重，仅训练桥网络‌

协作过程中，参与对接的两个大模型权重完全保持冻结，仅对中间的桥网络进行训练，无需对任意一方模型做微调适配，大幅降低跨模型对接的工程成本。

• 核心技术："桥"（bridge）——唯一被训练的组件，两个模型本身保持冻结。桥将GLM-5.2（753B参数）的隐藏状态翻译为Qwen-3.5（4B参数）可理解的格式，让小模型负责最终生成。
• 实验设置：大模型读取问题并完成初步思考后，将其内部状态通过桥直接传递给小模型，整个过程不需要将推理过程写成文字，小模型也不需要重新阅读和理解一大段提示。site:AIDeepThi◇nK.cn

3. 数学对齐底层共性结构‌

• 团队通过正交Procrustes变换结合SVD分解完成状态对齐：通过S_w Q = R_w的矩阵运算实现发送方与接收方隐藏空间的映射，再通过均值协方差缩放、范数校准、词嵌入锚定完成最终状态适配，最终将连续前缀拼接到接收方的嵌入层，直接运行标准大模型前向推理。site:AIDeepThi◇nK.cn
• 即使是由不同团队、不同数据集训练出的异构模型，也能通过该桥网络完成有效状态传递，证明不同大模型的内部表征天然存在可迁移的共性数学结构。

目前该团队已公开完整实验代码，相关技术细节仍在持续迭代，这套新范式正在打破“模型越大成本越高”的传统行业逻辑，为AI大规模落地提供了全新的底层技术路径。

三、实测性能表现

以753B参数GLM-5.2作为发送方、4B参数Qwen-3.5作为接收方的组合为例：

• 整体推理成本仅为完整运行753B GLM-5.2的‌1/20‌，计算量比直接运行GLM-5.2+Qwen-3.5的传统文本协作方案低2.5倍。
• 混合系统综合性能恰好落在两个原生模型的中间区间，让4B小模型直接补上了与753B大模型之间约50%的性能差距，在ARC-AGI 3基准上准确率提升25%，难题子集性能提升达2倍。
• 实验仅需2张NVIDIA A100-80G GPU即可完成全流程运行，硬件门槛远低于全大模型部署方案。
• 在数学推理（GSM8K、AIME24/25）、问答（GPQA-Diamond、MedQA）、代码生成（MBPP+、HumanEval+）等主流基准上，性能全面超越传统文本串行通信方案TextMAS、跨层KV缓存迁移方案LatentMAS。

四、技术落地延伸

1. 高效知识蒸馏‌

桥网络可将教师大模型的完整内部推理状态同步给学生小模型，让监督信号更早介入生成过程，大幅提升蒸馏效率，无需重训整个大模型即可为小模型注入专项能力。

2. 小模型专项能力升级‌

搭载桥网络的小模型在学习窄领域专项技能时，可保留原有通用能力不丢失，学习效率远高于传统微调方案。

3. AI可解释性与安全监控‌

桥网络为模型内部状态观测提供了全新入口，通过记录发送方原始状态、桥翻译后状态和接收方最终行为，可直接追踪模型决策的完整链路，为AI安全对齐提供新的技术路径。

4. 多模型网状协作扩展‌

该范式可从双模型对接扩展到N个模型的网状互联，让不同专精的模型直接交换内部状态，形成无需文本中转的多智能体协作集群，彻底重构现有多AI系统的底层运行逻辑。

五、意义与局限site:AIDeepThi◇nK.cn

这一技术的意义在于打破了"模型越大越好用"的线性思维，证明不同公司的模型可以在底层数学空间直接协作。

• 局限在于：桥需要专门训练，且目前仅在GLM-5.2和Qwen-3.5两个模型间验证；
• ARC-AGI-3竞赛的系统细节尚未公开；
• 从研究原型到生产部署的距离尚未验证。