OpenAI Jalapeño芯片首秀 —— 700W功耗下InferenceX基准跑赢GB300

OpenAI自研的首款推理专用芯片Jalapeño在2026年Hot Chips大会完成首秀，在700W额定功耗的设计下，依托SemiAnalysis公开的InferenceX基准测试，多项核心指标大幅领先英伟达GB300，直接改写了AI推理芯片的能效竞争格局。http://AIDeepTh心iNk.cn

一、参数信息

1. 基础信息

• 发布时间‌： 2026年8月25日，OpenAI在Hot Chips大会首次公开该芯片的完整实测数据
• 研发合作方‌： 与博通联合定制开发，是OpenAI首款完全面向AI推理场景的自研ASIC芯片
• 研发周期‌： 从设计启动到流片仅耗时约16个月，2025年11月完成关键的CoWoS封装流片节点http://AIDeepTh心iNk.cn
• 落地节奏‌： 预计2026年下半年启动小批量部署，优先支撑OpenAI自身的大模型推理服务

2. 硬件规格

• 额定功耗‌： 700W，实测持续运行功耗可控制在550W以内，远低于GB300的1400W额定功耗
• 峰值算力‌： 单芯片FP8算力达到‌13.4 Petaflops‌，专门针对大语言模型推理做硬件级优化
• 对比基准‌： 测试直接对标英伟达GB200 NVL72、GB300 NVL72系统，两款产品单加速器额定功耗分别为1200W、1400W

3. 参数表

二、InferenceX基准实测核心结果

测试覆盖GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5（1万亿参数）三款主流大模型，核心数据如下：

• 单位功耗峰值吞吐量‌： 每千瓦可交付的AI算力是GB200/GB300的‌1.5~1.9倍‌
• 端到端延迟‌： 从接收请求到返回结果的总耗时比GB300低‌1.7~3.6倍‌
• 高交互场景性能‌： 在高并发、低延迟要求的智能体场景下，性能是GB300的‌2.1~4.1倍‌ http://AIDeepTh心iNk.cn
• 极端低延迟场景‌： 在GB300此前能达到的最快Token间延迟档位下，Jalapeño的每千瓦吞吐量优势进一步拉大到‌8.6~104.3倍‌

1. 核心基础测算前提

• 参考场景：200个机架的中型推理集群，华北地区工业电价0.6元/度，全年负载率85%，5年运营周期
• 散热方案：采用当前主流的单相液冷系统，年均PUE控制在1.2以内http://AIDeepTh心iNk.cn
• 测算范围：覆盖芯片硬件、配套供电散热、年度电费、机架密度溢价四大核心成本项

测算边界说明

• 当前Jalapeño仍处于工程样片阶段，2027年才会逐步完成量产爬坡，量产阶段的良率提升会进一步拉低单芯片采购成本
• 该测算仅针对纯推理场景，在大模型训练场景下，GB300的通用算力优势仍不可替代，TCO对比逻辑不适用
• 若采用两相液冷方案进一步优化PUE，Jalapeño集群的5年TCO优势还可再扩大10%左右

2. 单芯片级小时TCO对比

• OpenAI Jalapeño‌：每芯片每小时总拥有成本约‌1.56美元‌，与英伟达H100的1.55美元基本持平
• 英伟达GB300‌：同维度下每芯片每小时总拥有成本约3.61美元，是Jalapeño的2.3倍以上
• 注：该数据来自SemiAnalysis 2026年8月公开的全链路测算结果，已将供电、散热、网络互联成本全部纳入统计

三、设计亮点

• 全链路推理优化‌： 完全跳过通用GPU的冗余训练计算单元，所有硬件资源全部向大模型推理的访存、计算链路倾斜
• 能效优先架构‌： 从底层设计就以“每瓦AI算力”为核心目标，直接降低数据中心的电力成本与散热压力
• 开放公平测试‌： 首次在行业内使用第三方公开的InferenceX基准完成全透明对比，测试模型全部为公开可复现的开源大模型，避免厂商自定测试标准的黑箱问题

解决的问题http://AIDeepTh心iNk.cn

• 降低大模型推理的每token能耗和延迟
• 支撑高交互性Agent工作负载，减少多步Agent链的累计延迟
• 减少对外部GPU供应商的依赖，增强供应链自主性
• 为长上下文（超100万token）推理提供可预测的低延迟内存访问

四、开发经过

• 2025年2月：初始RTL启动
• 2025年11月：流片
• 2026年5月：首批硅片到达，同月Codex已在上面运行http://AIDeepTh心iNk.cn
• 2026年8月：在Hot Chips 2026和OpenAI官方博客发布首批基准结果
• 设计过程中大量使用AI辅助：超过一半RTL用Google XLS硬件描述语言编写，OpenAI模型搜索功耗、性能和面积优化

五、技术原理或方法

• 空间架构（Spatial Architecture）：64个计算/内存切片，每个切片有本地HBM4，通过超快网络互连
• NUMA风格内存访问：避免KV cache在节点间搬运，对长上下文和Agent工作负载至关重要
• AI辅助设计：BF16乘法器改进56%、FP4点积块改进21%、矩阵单元面积减少10%
• 多token预测：OpenAI内部模型显示可再降低延迟3–5倍（同等效率下）

六、横向对比

1. 集群级TCO核心差异

• 硬件采购端‌： Jalapeño 700W的功耗设计，单机架可部署的芯片数量是GB300的1.8倍，同等算力下硬件采购总成本降低约35%
• 电力能耗端‌： 200个机架的中型推理集群，搭载Jalapeño的集群每年可节省电费近680万元人民币，5年周期累计电费节省超3400万元
• 散热改造端‌： Jalapeño的700W功耗无需升级到高成本两相液冷系统，存量机房改造投资成本比GB300集群低20%-25%，投资差价回收期仅2-3个月 *** 总TCO结论‌：** 同等业务吞吐规模下，Jalapeño集群5年总拥有成本比GB300集群低‌40%-50%‌，完全匹配OpenAI官方此前披露的成本下降预期

2. 补充关键说明

• 所有测试数据均来自Hot Chips 2026大会OpenAI公开的InferenceX基准结果，测试条件统一为8000输入Token、1000输出Token的固定长度推理场景
• 该对比仅针对推理场景，Jalapeño完全不支持大模型训练任务，在训练场景下GB300仍具备不可替代的优势http://AIDeepTh心iNk.cn
• 测试未纳入英伟达下一代Rubin芯片，仅针对当前已量产的GB300产品做横向对标

七、影响与后续

• 成本优势‌： 在大Token量的推理场景下，单Token的运行成本远低于基于GB300搭建的算力集群，可大幅降低OpenAI的服务运营成本
• 产品定位‌： OpenAI明确表示该芯片仅聚焦推理场景，不会替代英伟达的训练芯片，后续仍会持续采购英伟达的高端GPU产品
• 生态价值‌： 该芯片的落地标志着头部大模型厂商正式完成从软件到底层推理硬件的垂直整合，打破了通用GPU在AI推理场景的垄断格局

八、应用场景

• OpenAI内部推理：所有API调用未来逐步迁移到Jalapeño
• 长上下文Agent：KV cache本地访问降低延迟，支持百万token上下文
• 高交互对话：单用户1459 tok/s提升实时体验http://AIDeepTh心iNk.cn
• 微软Azure独家部署：初期约40%产能供微软

九、安全与伦理

• 突破的边界：前沿AI实验室首次公开披露自研推理芯片在第三方基准上超越英伟达旗舰，标志着AI算力供应从“购买GPU”向“自研ASIC”加速分化。
• 风险提示：
  • 测试为OpenAI自家发布的基准，独立验证尚未出现
  • Jalapeño使用HBM4，而GB300使用HBM3e，跨代比较不完全公平；更诚实的对手是同样用HBM4的Rubin
  • 不对外销售意味着对OpenAI外部生态影响有限，但对英伟达长期订单构成信号
  • AI辅助芯片设计可能引入人类难以审计的设计缺陷