⚡ 前沿动态

DeepSeek 开源内部推理框架 DeepInfer,并公开服务账本

🕐 2026-10-22 大语言模型 🔥 54 次点击

DeepSeek 于 10 月 20 日宣布全面开源其内部大规模云服务推理框架 DeepInfer,并同步开源生产级 Token 编解码组件 deepseek-recipe。框架支持分布式推理、推测解码、SWA Bounded Replay 与结构化输出,可同时运行在英伟达与华为昇腾平台上。随技术报告公布的还有服务账本:单集群吞吐 155 万亿 Token/天,整体收入每卡每小时 38 美元(按波谷价计算)。文章解释推理框架为什么决定单位成本,以及开源仓库明确划出的三条交付边界。

证据强度: B(DeepSeek 官方公众号与技术报告为一手来源,吞吐与收入数字为公司自报) 技术锚点: B / E

一、发布内容与核心变化

DeepSeek 把支撑其线上服务的推理框架整体开源了。这不是模型权重开放,也不是算子库开放——算子库和 TileLang 编译工具此前已经放出——而是把统筹调度算力集群的那一层软件开放出来。

DeepSeek 在公告里给出的理由是:模型的能力边界由模型本身划定,但以合理成本提供超大规模模型服务,取决于一个长期未被公众了解的中间层,即推理框架。面对海量用户调用,推理框架负责统筹调度庞大的算力集群,其效率直接决定 AI 服务的算力成本和电力消耗。

同步开源的还有 deepseek-recipe,一个生产级 Token 编解码组件,负责在主流大模型 API 协议与模型 Token 序列之间做转换,处理逻辑与 DeepSeek 官方 API 对齐。对第三方部署方来说,这个组件解决的是"自己部署的行为和官方 API 不一致"这个具体问题。

二、技术能力与设计取向

据 DeepSeek 公告和人民日报英文客户端的转述,DeepInfer 集成了高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,并且可以在英伟达与华为昇腾两种平台上运行。

跨芯片平台支持是这次发布里工程含金量最高的部分。大规模在线服务的性能优化必须落到具体部署条件里:芯片型号、硬件组织方式、计算分配方式、计算成果复用方式都会影响端到端表现。把同一套框架适配到两种指令集和互联架构上,意味着调度层、通信层和算子层都要做抽象。

三、公开的服务账本

随框架一同公布的技术报告里有两个此前未公开的数字:

指标 数值 口径
单集群服务吞吐 155 万亿 Token/天 DeepSeek 技术报告,单集群
整体收入 每卡每小时 38 美元 按波谷价计算

这两个数字的分母值得留意。"单集群"不是全公司总量,也没有公布集群规模;"每卡每小时收入"是按波谷价折算,而 DeepSeek 自今年 6 月起实行峰谷定价,高峰时段(每天 9—12 点、14—18 点)调用价格翻倍。用波谷价做分母会得到偏保守的收入估计,不等于日均水平。

四、交付边界

开源仓库写明,本次发布提供离线推理及大规模服务所需的核心能力;要搭建完整的在线服务,开发者仍需自行补齐 KV 缓存系统、推理阶段分离部署以及跨副本负载均衡等组件。

这条边界很重要。它说明 DeepInfer 开放的是调度与执行的核心,而不是一整套可直接上线的服务栈。打算自建的团队需要评估自己是否具备补齐这三块的能力。

另有技术博主指出,该框架需要运行在英伟达 Blackwell 一代数据中心显卡(代号 SM100)或昇腾 950 上,官方性能测试使用了 4 到 64 张卡,目前只支持 V4.1-Flash 一个模型。这是开发者社区口径,尚未在官方仓库说明中逐项确认,部署前应以仓库 README 为准。

五、为什么值得关注

在此之前,主流大模型厂商公开的是模型权重、算子库和论文,实际跑线上服务的调度层一直不对外。DeepSeek 这次把这一层放出,云厂商和自建方第一次可以拿到接近官方原生的部署路径。多家媒体称 DeepSeek 是首个开放原生实际运行推理框架的头部大模型企业,这一说法来自媒体转述,未见独立核实。

对成本的影响是可验证的:如果第三方部署能把吞吐和延迟拉到接近官方水平,那么决定模型服务价格的将不再是模型本身,而是谁能把这一层跑得更好。

声明:文中数据及部分观点来源于网络,部分观点来源于个人分析和推理,仅供参考,不构成投资或商业决策建议。
您觉得本文:
资料来源
  1. DeepSeek
← 返回 [前沿动态]