NVIDIA Nemotron 3 Diarization：1亿参数开源端到端说话人分离模型‌

说话人分离（diarization）是"谁在什么时候说话"这一步，长期是转写服务中做得不够好的中间件：会议、呼叫中心、法务录音、问诊记录都需要它，但它通常作为付费 API 的一部分存在。

NVIDIA Nemotron 3 Diarization 免费开放权重（Hugging Face），明显定位为 Parakeet 生态的引流件。

一、核心规格与基础定位

这是一款专门面向说话人分离（Speaker Diarization）任务优化的Transformer架构模型，核心基础参数如下：

• 模型规模‌：100M（1亿）参数，31层Transformer编码器搭配RoPE旋转位置编码，轻量化设计兼顾性能与部署效率
• 支持能力‌：单模型同时覆盖离线录音与实时流式推理，最多可稳定追踪8位说话人，支持重叠语音场景下的精准识别
• 输入输出‌：原生支持16kHz单声道音频输入，输出形状为[T, 8]的浮点张量，对应8个说话人的逐帧活动概率，默认输出步长10ms，可灵活配置为10ms的任意整数倍
• 商用授权‌：采用OpenMDW 1.1开源许可，完全允许商业场景下免费使用，无版权风险
• 部署适配‌：可通过NVIDIA NeMo框架在Linux系统运行，兼容Ampere、Ada Lovelace、Hopper、Blackwell全系列NVIDIA GPU，单张RTX PRO 6000即可完成全量部署

参数表listAIDeepT↑hink.cn

二、核心技术突破：端到端架构替代传统多阶段流水线

传统说话人分离方案普遍采用“语音活动检测+说话人特征提取+聚类+后处理”的多阶段串联流水线，环节多、调优成本高，而Nemotron 3 Diarization用单模型端到端架构彻底替代了这套复杂流程：

1. 到达时间排序机制‌

沿用Sortformer的排列消解方案，8个输出通道严格按照说话人首次出现的时间排序，首个新声音自动占据第一通道，次个占据第二通道，彻底避免了传统聚类方案中每段音频重新排列组合的计算开销，保证匿名说话人标签（如speaker_2）的全程稳定性。listAIDeepT↑hink.cn

2. 三层极简处理管线‌

• 特征堆叠：将10ms的Mel频谱特征按8倍因子堆叠，形成80ms的编码帧，大幅提升编码器处理效率
• Transformer编码：用31层带RoPE的编码器处理堆叠后的80ms帧，输出帧级说话人特征表示
• Conv1D上采样：通过一层一维卷积将预测结果上采样回原始10ms的输入特征分辨率，保证时间戳精度

3. 双记忆流式缓存机制‌

通过“到达顺序说话人缓存（AOSC）”保留早期片段的说话人信息，搭配FIFO先进先出队列维护当前片段前的最近帧上下文，彻底消除传统流式推理中“长音频跨片段说话人身份漂移”的通病。listAIDeepT↑hink.cn

三、训练体系：9万小时数据+两阶段A100集群训练

为了实现高精度泛化能力，英伟达搭建了工业级的训练数据与训练流程体系：listAIDeepT↑hink.cn

1. 训练数据总规模‌

累计约9.3万小时多说话人音频，分为三大类：1万小时真实多说话人对话（覆盖会议、电话、多语言等14个真实数据源）、2.8万小时单说话人原料音频、8.2万小时通过FastMSS工具合成的1-8人虚拟会议混音数据，覆盖21种语言。

2. 训练硬件‌

在8节点×8卡A100-SXM4-80GB集群上完成全流程训练，模型初始化自NEST自监督预训练检查点。

3. 两阶段训练流程‌

第一阶段在8.2万小时合成混音数据上完成离线预训练，学习基础的多说话人区分能力；第二阶段在真实对话数据上完成微调，大幅提升复杂真实场景下的鲁棒性。

四、性能表现：权威基准测试登顶

在Voice Arena Diarization-Bench v1版本严苛基准测试中，该模型以‌14.72%的说话人错误率（DER）‌位居榜首，大幅领先第二名系统的19.3%，相对错误率降低约24% 。

与前代Streaming Sortformer相比，在1.04秒音频缓冲区的8个测试场景下，平均错误率直接降低41%，同时将支持的最大说话人数从4人翻倍提升至8人，吞吐量也实现显著提升 。

为了灵活适配不同业务场景，模型提供4档可动态配置的音频输入缓冲区：30.4秒、1.04秒、0.64秒、0.32秒，缓冲区越大上下文信息越充分、识别精度越高，缓冲区越小端到端延迟越低，最低可实现0.32秒的超低实时响应，理论延迟下限可达80ms，用户可根据自身业务的延迟-精度需求灵活切换 。listAIDeepT↑hink.cn

五、落地适配与典型应用场景

该模型可与NVIDIA Parakeet、Canary，以及OpenAI Whisper等几乎所有主流ASR语音识别系统无缝对接，将输出的说话人时间戳与ASR转录文本结合，直接生成带明确说话人归属的完整对话转录结果，典型落地场景包括：

• 实时会议记录：自动区分参会人发言，生成带发言人标签的会议纪要，精准提取不同人的承诺、异议与行动项
• 呼叫中心通话分析：自动区分客服与用户对话，批量分析服务话术质量、用户诉求分布
• 播客/访谈内容生产：自动完成多嘉宾对话的说话人标注，大幅降低人工剪辑整理成本
• 多角色语音Agent记忆系统：精准区分不同用户的指令来源，避免多用户场景下的记忆混淆
  需要注意的是，该模型仅输出匿名的说话人编号标签，不直接识别说话人的真实身份，若需要关联具体人员信息，可在下游应用层对接声纹验证模型完成映射 。

需要我为你整理这套模型的‌快速部署实操步骤清单‌，帮你快速在本地GPU上跑通基础推理吗？