英伟达Vera Rubin NVL72首测：DeepSeek吞吐量暴涨30倍，每百万Token成本降35倍

英伟达在Hot Chips 2026大会上首次公布Vera Rubin NVL72机柜的实测数据，在DeepSeek V4 Pro智能体编码工作负载下，对比上一代GB300 NVL72，‌每兆瓦吞吐量最高提升30倍，每百万Token成本最高降低35倍‌，该结果基于SemiAnalysis AgentX基准测试得出。

Vera Rubin是英伟达继Hopper→Blackwell之后的第三代AI推理平台，已于2026年7月进入量产并开始全球交付。此次Hot Chips 2026披露的是该平台的首轮实测数据。富士康等ODM厂商确认今年四季度起出货爬坡。杰富瑞预计年底前出货超1.3万个Rubin机架，2027年全年超12万个。

一、测试条件

• 测试场景‌：采用真实智能体编码会话回放，覆盖文件读取、工具调用、代码执行、循环验证等完整Agent工作流，而非传统8K/1K固定序列的简单基准测试。
• 测试模型‌：DeepSeek V4 Pro（1.6万亿参数），该类智能体工作负载消耗的Token量可达普通聊天场景的15倍。
• 对比基准‌：当前英伟达主力AI机柜GB300 NVL72，其每兆瓦吞吐量已较上代H200提升15倍。
• ‌吞吐量实测细节‌：在160 tokens/s/用户的智能体交互强度下，Vera Rubin NVL72每兆瓦吞吐量达到GB300 NVL72的30倍；当交互强度降至100 tokens/s/用户时，每兆瓦吞吐量可达4000万TPS，是GB300的50倍区间。 ‌* 成本实测细节‌：GB300 NVL72在116 TPS/user交互下，每百万Token成本为0.123美元；Vera Rubin在同等智能体负载下，每百万Token成本可降至约0.0035美元，实现35倍降幅。 ‌* 响应速度表现‌：在DeepSeek V4-Pro智能体编码工作负载中，平台TTFT（首Token生成延迟）保持在低水平，兼顾高吞吐与实时交互体验，适配智能体多轮长上下文会话需求。

二、架构支撑

1. 七芯全栈协同设计‌

平台由Vera CPU、Rubin GPU、Groq 3 LPX等7款定制芯片组成，各芯片分工明确，实现计算、互联、数据处理全链路打通。

2. Rubin GPU核心规格‌

采用台积电3nm N3P工艺，集成3360亿个晶体管，搭载288GB HBM4内存，NVFP4推理性能达2 ZFLOPS，训练性能达1.4 ZFLOPS。

3. Vera CPU专属优化‌

88颗定制Arm Olympus核心，176线程，专为智能体AI设计，数据处理与压缩性能是上代Grace的2倍，负责上下文内存管理、Token路由，保障推理流水线满负载运行。

4. Groq 3 LPX低延迟加速‌

256颗LPX组成的LPX机架，每颗配备128GB SRAM，单机架内存带宽达40 PB/s，专攻Token生成解码环节，Gemma 4 31B模型在10万Token上下文下输出速度达3400 Token/秒。

5. 互联与软件栈优化‌

第六代NVLink全互联架构、NVFP4 4位量化、Prefill/Decode分离、KV感知路由等技术，大幅降低长上下文调度开销。

三、设计突破

1. 七芯片分工协同‌

Rubin GPU负责大规模模型计算与长上下文处理，Vera CPU负责智能体编排与数据处理，Groq 3 LPX专攻低延迟Token生成，搭配NVLink 6、BlueField-4 DPU等组件，实现全链路无瓶颈调度。

2. ‌互联能效升级‌

第六代NVLink 6单GPU双向带宽达3.6TB/s，相比通用以太网吞吐量提升2倍、延迟降低1/3；Spectrum-6光电一体化交换机，能效比传统方案提升5倍。

3. ‌部署效率优化‌

托盘内无电缆、无风扇、无液冷软管的极简设计，单托盘组装时间从数小时压缩至1分钟；45℃液冷进水温度设计，无需冷水机组，每兆瓦每年可节省数百万加仑水资源。

四、成本下降逻辑

1. 能效级跃升‌

每兆瓦算力产出的有效Token数大幅提升，单位电力的AI产出效率是GB300的30倍，直接摊薄电力成本。

2. 机架级密度提升‌

单Vera Rubin NVL72机柜集成72颗Rubin GPU，在100MW规模AI工厂中可部署11PB HBM4内存，算力密度远高于上代方案，单位硬件成本可支撑的Token产出量指数级增长。

3. 长上下文效率优化‌

针对智能体场景的长序列、高交互特性做了定向优化，避免传统架构在长上下文下的算力空转浪费，大幅提升硬件利用率。

五、参数对比

1. Vera Rubin NVL72机柜级系统核心规格：

2. 三代平台代际对比（英伟达自测数据）：

六、技术原理或方法

英伟达明确说明30倍不是芯片速度快了30倍，而是机架级系统的协同设计结果。核心技术创新包括：

• Prefill/Decode分离：上下文处理与Token生成各自独立扩展
• 速率匹配：同步两类GPU的Token生产速度以最大化效率
• 大规模专家并行：MoE专家子网络分布至整个scale-up域
• 分布式KV缓存与卸载：内存跨GPU扩展，冷上下文分层到主机与存储
• KV感知路由：新请求路由至已持有对应缓存的GPU，避免重算
• NVFP4量化：第四代浮点格式量化
• 第六代NVLink协同设计：3.6TB/s双向互联带宽
• DSX MaxLPS电力管理：在GPU、机架与负载三个层级动态管理功耗，可在同样兆瓦预算内部署最多40%更多的GPU

七、应用场景

传统基准测试（如吞吐量/延迟）无法反映Agent时代真实工作负载特征。Agent任务涉及长上下文增长、多轮工具调用、多步推理链，旧基准失效。英伟达推出AgentX测试套件，专门针对智能体工作流设计。模型越大，新架构红利越明显：在Kimi K3 2.8T模型上，GB300 NVL72相对H200的每兆瓦吞吐优势进一步拉大到80倍。

Vera Rubin平台面向智能体推理场景，包括：多轮工具调用Agent、代码生成与审查（DeepSeek V4 Pro编码）、长上下文文档处理、实时交互式AI对话。对电力受限的AI工厂而言，每兆瓦吞吐量决定收入上限，每百万Token成本决定利润率。英伟达已将这两项作为平台设计的直接目标。

八、落地与影响

1. 量产与出货节奏‌

英伟达2026年GTC大会宣布平台全面投产，富士康母公司鸿海将于2026年第四季度正式出货Vera Rubin AI平台。

2. 首批落地客户‌

AI云服务商Nebius将成为首家采用Groq 3 LPX的云厂商，AWS、微软Azure、谷歌云等头部云厂商也将于2026年率先部署相关实例。

3. 特殊场景布局‌

SpaceXAI宣布采用Vera CPU，计划2027年第四季度发射搭载优化版Vera Rubin系统的Starmind AI卫星，构建轨道AI计算节点。

4. 行业价值‌

将智能体编码任务从小时级压缩到分钟级，重新定义AI工厂的算力交付形态，算力单位从单GPU升级为整机柜，推动AI推理成本进入新的下行区间。

评价体系正在从训练更大模型转向单位能耗有效Token产出、单位成本任务处理能力与智能体任务时延。推理成本数量级下降使原本难以规模化的推理型应用有了商业闭环可能。

九、后续演进

1. 英伟达商业模式升级‌

从单纯的芯片供应商，转向完整AI工厂基础设施的打包服务商，通过MissionControl管理软件、全栈芯片组合，锁定从硬件部署到运维调度的全链条收益。

2. 生态壁垒强化‌

依托Vera Rubin平台的专属优化能力，进一步绑定云厂商、大模型厂商的深度合作，形成软硬件协同的强生态锁定，竞品很难通过单一硬件性能突破打破壁垒。

3. 长期算力布局‌

为2027年之后的下一代AI平台Feynman做好技术铺垫，在全栈协同、能效优化、大规模互联等维度完成技术积累，持续保持行业领先优势。

Groq 3 LPX（源自200亿美元收购Groq）已同步全面量产，单机架每秒处理3431 tokens，长上下文输出达每秒3400 Token，将部署于Nebius数据中心。首款Agent专用Vera CPU发布，88核单体设计，已被SpaceXAI规模化部署并计划送上太空。英伟达同日发布入门级机器人计算平台Jetson Orin Nano 2，推理性能翻倍、15瓦模式下同性能功耗降四成，AI算力78 TOPS，预计2027年上半年上市。