OpenAI首颗自研推理芯片Jalapeño实测：每瓦吞吐超英伟达GB300最高1.9倍

Jalapeño是OpenAI首颗自研芯片。该芯片由OpenAI与博通联合开发，经历约16个月从设计启动到流片（关键CoWoS封装流片节点完成于2025年11月），远低于行业惯常的18-36个月周期。芯片仅做推理不做训练，围绕特定负载定制，不依赖英伟达CUDA生态。芯片设计围绕一个核心问题："如果硬件的主要工作是为现代和未来的语言模型——尤其是交互式智能体——提供推理服务，我们应该造什么样的硬件？"

在InferenceX公开基准测试中，能效表现大幅超越英伟达GB200、GB300等主流商用推理系统‌，打破了传统推理平台吞吐量与延迟难以兼顾的固有矛盾。

一、设计定位

推理经济学正变得比训练经济学更重要。模型已经建成，但每天运行数十亿次为Agent服务——每个Agent链式调用数十个步骤——成本高昂。Agent会复合延迟：多轮工作流中每一步都等待前一步完成，单个对话响应中几乎不可察觉的延迟在50步任务中变得显著。Jalapeño被设计为同时保持吞吐量和延迟竞争力，而现有硬件通常迫使二者之间的取舍。

1. 核心设计目标‌

完全围绕大语言模型推理任务定制，核心解决OpenAI当前面临的数据中心电力供给瓶颈，通过极致能效提升，在有限电力配额下支撑更多AI用户请求。

2. 落地节奏‌

OpenAI硬件负责人Richard Ho公开表示，Jalapeño将在2026年底启动小批量部署，2027年实现大规模量产落地。

3. 产品价值

• 单芯片可在单位电力下承载更多AI计算任务，同时实现更低的响应延迟，既适合大规模高并发用户服务场景，也能满足低延迟实时交互需求。
• OpenAI在开发过程中使用了自身AI模型辅助芯片设计：AI探索设计实现方案、缩短验证循环、优化算术电路。在选定的注意力机制和混合专家模块上，AI生成的实现比人类专家编写的版本快1.5-1.8倍。

二、测试基准

1. 测试框架‌

采用半导体分析机构SemiAnalysis开发的公开推理基准InferenceX，测试流程具备行业可复现性。

2. 覆盖大模型‌

实测覆盖三款主流大模型，分别是OpenAI自研的GPT-OSS 120B、DeepSeek R1 670B，以及Moonshot AI的Kimi K2.5 1T，验证了芯片对不同参数规模、不同架构大模型的适配能力。

3. 对比基准‌

• 对标英伟达GB200、GB300 Blackwell系列商用系统，暂未与英伟达最新的Vera Rubin平台做直接对比测试。
• Jalapeño的测试结果是在未启用投机解码、未做预填充与解码分离部署等优化手段的情况下取得的，而参与对比的其他芯片均已开启各自最优配置。芯片主要架构目标是暴露聚合HBM带宽而非增加更多HBM。

三、实测数据

1 .峰值能效表现‌

在峰值吞吐量状态下，每瓦可完成的AI计算操作是对比系统的1.5~1.9倍，每千瓦峰值吞吐量约为英伟达Blackwell平台的1.9倍。

2. 端到端延迟优化‌

相比竞品硬件，端到端推理延迟降低1.7~3.6倍，在高交互场景下响应速度优势显著。

3. 高交互场景性能‌

面向高互动类AI工作负载，性能达到英伟达主流系统的2.1~4.1倍，适配ChatGPT这类实时对话产品的核心需求。

4. 主要已知参数

四、相关产品横向对比

五、后续演进计划

• 第二代芯片已"深入开发"，接近流片，预计数月内完成。
• 第三代概念设计已启动。
• 部署计划：2026年底以"极小规模"开始部署，2027年大规模扩展。
• 部署形态：128芯片为一组（一个机架），完整Pod运行2048个ASIC。128芯片部署可提供1.7 exaflops 4位计算和27.5TB HBM4。