谷歌Gemini 3.5 Transcribe——语音转文本进入新基准区间

谷歌Gemini 3.5 Transcribe是谷歌2026年8月26日发布的新一代语音转文本模型，也是谷歌迄今精度最高的语音转文本产品，主打“理解式转写”，而非传统的逐字机械记录。

语音识别市场长期处于“通用模型准确率不够、垂直模型部署麻烦”的状态。谷歌希望通过Gemini 3.5 Transcribe把转录从“输出原始文本”升级为“输出已清理、格式化、可执行意图的文本”，并直接集成到Android Gboard、Gemini macOS应用、Chrome等消费级入口，同时通过Live API和Interactions API覆盖开发者与企业客户。

Transcribe属于Gemini 3.5系列音频产品线的核心成员，与Gemini 3.5 Live、Gemini 3.5 Live Experimental共同组成完整语音解决方案。

一、技术参数

定位‌：面向实时语音交互与预录音频处理的专业级转写模型，覆盖消费级语音输入与企业级语音智能体两大场景
支持语言‌：原生支持‌85种以上语言‌，具备自动语言识别能力，无需手动配置即可处理多语言混说场景 site:A☈IDeepThinK.cn

维度	Gemini 3.5 Transcribe
非流式WER	2.6%
流式WER	4.0%
语言覆盖	85+种自动检测，支持中途语码切换
时间到最终转录	较Chirp 3提升70%
FLEURS多语言基准（非流式）	5.04%
FLEURS多语言基准（流式）	5.50%
说话人标注	预录音频最多3人，实验性支持3人以上
自定义词汇	支持，最多1000个术语（低于100效果最佳）
音频输入上限	标准请求最多1小时；启用diarization/word timestamps后降至30分钟
API端点	Interactions API（gemini-3.5-transcribe）；Live API（gemini-3.5-transcribe-live）

二、性能

转写速度‌：相比前代Chirp 3，最终转写耗时缩短‌70%‌，实时流式接口延迟低于1秒
词错误率（WER）‌：site:A☈IDeepThinK.cn
- 流式场景下平均WER为‌4.0%‌，FLEURS基准测试中为5.50%，优于OpenAI GPT Live Transcribe的8.9%
- 非流式场景下平均WER为‌2.6%‌，FLEURS基准测试中为5.04%，相比Chirp 3的7.32%有明显提升
音频处理上限‌：预录音频最长支持1小时转写，最多可识别3名不同说话人，支持输出词级时间戳与说话人归属标注

三、技术原理

端到端多语言模型：直接处理原始音频，输出 polished、格式化文本
智能格式化（Smart Mode）：自动去除填充词、修正自我纠正（如“周二——不，周三”→“周三”）、应用结构化格式
函数调用集成：可将图像生成、文件分析等任务委托给其他Gemini模型
实时流式API：100ms分块输入，子秒级延迟，支持ephemeral tokens避免客户端持有API key
自定义词汇偏向：针对领域术语、产品名、字母数字字符串优化识别

四、差异化能力

1. 解决的问题

通用语音转文本在背景噪声、复杂术语、不流利口语、自我纠正场景下表现差
会议、客服、医疗等场景需要说话人分离、词级时间戳和领域定制
语音Agent需要低延迟、高准确率的实时交互能力site:A☈IDeepThinK.cn
不同场景下“可读摘要”与“可审计完整转录”需求冲突

2. 智能程度

智能口语清理‌：自动过滤“嗯、啊、你懂的”等填充词，识别说话过程中的自我修正内容，直接输出通顺的结构化文本，而非原始语音流
自定义词汇支持‌：用户可上传自定义词汇表，精准识别专业术语、特殊拼写、订单号、邮编等字母数字组合，适配垂直领域场景
意图联动能力‌：支持Function Calling，可将图像生成、文件分析等复杂任务调度给其他Gemini大模型完成，实现“语音指令直接执行”的闭环
抗干扰能力‌：可在背景噪音环境下稳定工作，对行业专业术语的识别准确率远高于传统语音转写模型

3. 横向对比

维度	Gemini 3.5 Transcribe	OpenAI Whisper	Deepgram Nova-3	AssemblyAI Universal-2
非流式WER	2.6%	竞争力强	竞争力强	竞争力强
流式WER	4.0%，子秒延迟	需额外基础设施	低延迟强	竞争力强
语言覆盖	85+	多语言	较广	较广
智能格式化	内置	需后处理	有限	部分支持
函数调用	内置	不支持	不支持	不支持
说话人分离	最多3人	支持	支持	支持
自定义词汇	支持	有限	支持	支持
分发渠道	Android/Gemini/Chrome/企业平台	API	API	API

五、产品形态与接入

模型通过两套独立API提供服务，适配不同业务需求：site:A☈IDeepThinK.cn

实时流式模式‌：通过Live API调用gemini-3.5-transcribe-live，实现低延迟双向连续转写，适配实时字幕、语音智能体等场景
预录音频模式‌：通过Interactions API调用gemini-3.5-transcribe，处理会议录音、通话日志等已录制内容，支持说话人标注与时间戳输出
开发者入口‌：可直接在Google AI Studio中完成调试，也可通过Gemini API接入自有业务系统，目前已开放公开预览

六、已落地与规划落地场景

当前已落地‌：Pixel 11的Gboard键盘“Rambler”功能、macOS版Gemini应用、Android端部分国家的Gboard Rambler功能、谷歌Antigravity提示框麦克风功能
即将落地‌：Chrome浏览器，后续可在任意网页输入框直接语音输入，覆盖消息回复、内容创作、AI指令下达等场景
企业级合作‌：已与Agora声网完成集成，可在Agora Agents SDK中直接调用，快速搭建面向CRM、信息采集、日程管理的语音智能体

1. 实时语音交互

‌实时语音智能体‌：作为语音转写核心环节接入对话式AI流水线，搭配兼容OpenAI的大模型、TTS服务，依托Agora等实时RTC架构，实现端到端低延迟语音交互
‌实时字幕生成‌：面向直播、跨国会议、线上课程等场景，提供亚秒级延迟的实时字幕输出，支持多语言自动识别切换，无需手动配置语种
‌实时语音输入‌：接入系统级输入法、浏览器输入框，用户可直接通过语音完成消息回复、内容创作、AI指令下达，自动清理口语填充词输出通顺文本

2. 企业办公与服务

‌会议与通话后分析‌：自动转写会议录音、客服通话日志，输出带说话人标注、时间戳的结构化纪要，大幅降低人工整理成本
‌跨国会议纪要‌：解决中英日多语言混说场景下传统ASR识别乱码的痛点，直接标注每段发言的语种，生成可直接归档分享的完整纪要
‌海外客服质检‌：自动区分对话双方的语种，对混合多语言的客服通话做全量结构化转写，直接匹配质检规则，替代传统人工抽检模式

3. 内容生产与教育

‌音视频字幕自动化‌：面向播客、长视频内容创作者，直接输出带精准时间戳的转写文本，大幅降低多语言内容的字幕制作人力成本
‌课堂录音结构化‌：学生可直接转写多语言混合的课程录音，自动整理成条理清晰的学习笔记，支持85种以上语言覆盖全球不同语种的学习场景
‌音视频内容检索‌：对音视频素材做精准多语言标注，用户可通过“语种+关键词”快速定位音频片段，解决传统转写结果不准确导致的内容搜不到的问题

4. 开发者生态场景

‌多语言转写流水线‌：替代传统“语音识别+语言检测+翻译”的三段式拼装链路，在同一个模型链路内完成识别、语种判断、语义理解，大幅降低调试成本
‌垂直领域定制转写‌：支持上传自定义专业术语表，适配医疗、法律、工业等垂直场景的专业语音转写需求，识别准确率远高于通用ASR引擎
‌生态伙伴集成‌：目前已接入Agora、LangChain、LiveKit、Pipecat等主流开发框架，开发者可快速将其集成到自有语音类产品中

七、注意事项

1. 突破的边界

语音模型首次大规模集成“格式化+函数调用+跨Gemini模型委托”，使语音从输入通道升级为Agent命令通道。

2. 风险提示

流式WER（4.0%）与非流式（2.6%）差距明显，实时场景准确率仍需权衡
说话人分离上限3人，限制其在多数真实会议中的使用site:A☈IDeepThinK.cn
自定义词汇与智能格式化不可同时使用，需在“可读性”与“可审计性”间取舍
该模型的智能润色特性可能会修改用户原始口语措辞，在需要100%严格保留原话、不允许调整表述的场景（如法律取证、关键通话留痕）中，不建议使用该模型，避免原始信息被自动改写