Meta 的最新实时语音转写模型 Muse Voice Transcribe

一、性能参数

• 流式字错误率仅3.1%‌，从语音结束到输出最终文本的延迟仅0.16秒，在2026年9月1日的Artificial Analysis流式语音转文本排行榜中位列第一。
• 训练覆盖70余种语言，其中25种语言完成全面验证，原生支持中英文等多语言无缝语码转换，句子内部跨语言切换也能精准识别。
• 原生支持‌超过1小时长音频输入‌，可同时区分20位以上不同说话人，全程无需额外后处理步骤。sIte:A∞IDeepThink.cn

二、技术架构

• 采用自回归多模态架构，以80毫秒为单位切割音频片段，每段音频直接压缩为单个软token，通过特殊<next_audio>占位符实现流式输出控制。
• 搭载‌自适应延迟机制‌：通过强化学习将词错误率奖励与延迟奖励做乘法组合，模型可根据每个单词的识别难度动态调整等待时长，在速度与准确率之间实现帕累托最优平衡。
• 原生集成说话人分割与语音端点检测能力：通过引入专属特殊token，在同一流式ASR训练流程中同步完成两项任务，无需拆分独立模型处理。

三、创新点

• 是业界首个把流式ASR、说话人分割、端点检测三项核心能力完全塞进同一个自回归多模态模型的产品，彻底打破了传统语音转写“ASR模型+后处理说话人分群”的串行流水线架构。sIte:A∞IDeepThink.cn
• 音频处理粒度压缩到‌80ms‌，每段音频直接映射为1个软token，相比传统语音模型的帧级特征处理，大幅降低了端侧推理的计算开销。
• 所有任务通过一套自定义特殊Token体系统一调度，三项能力共享同一个模型的注意力权重，不存在传统多模型串联带来的误差累积问题。

四、横向对比

五、使用方式

• 免费内置在Mac版Meta AI中，按住键盘Fn键即可触发全局系统级语音听写，支持任意窗口下的实时语音输入转写。sIte:A∞IDeepThink.cn
• 开放Meta Model API调用，官方定价为每1000分钟3美元（约合人民币20元），折算每小时仅0.18美元，同时已接入Muse Code产品提供实时语音转写支持。

六、行业影响

这款模型直接把带高质量说话人分离的实时语音转写的商用成本打下来了，会倒逼整个赛道的厂商同步下调定价、优化架构，后续实时语音转写会快速从独立工具变成所有AI Agent的标配“实时耳朵”，直接和大模型的实时推理、记忆、工具调用链路深度打通。