DeepInfer

驱动 DeepSeek 大规模生产服务的推理引擎首次开源，站在 vLLM 肩膀上再做强化的”官方定制版”

项目速览

项目 内容
仓库 deepseek-ai/DeepInfer
语言 Python
Stars 22,186（2026-10-25），Forks 2,552，9 天达成
协议 Apache-2.0
状态 2026-10-16 建库，发布即支持 DeepSeek-V4.1-Flash
定位 生产服务同源的推理框架，本次开源离线推理版

它想解决什么问题

推理引擎是模型的”变速箱”：同样的权重，引擎写得好坏直接决定吞吐、延迟和单位成本。DeepSeek 过去几年靠自家引擎扛住大规模服务，但外界只能猜细节。

10 月 16 日，他们把这套引擎开源了。README 的致谢写得很坦率：DeepInfer 主要建立在 vLLM 之上，并受 SGLang 和 TensorRT-LLM 启发——也就是说，这不是又一个从零造的引擎，而是”行业标准引擎”的官方定制强化版。

核心机制拆解

开源的离线推理版，能力清单读起来像推理引擎的”完全体”：

1. 优化内核全家桶。 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，以及自研 TileLang 内核——注意力、GEMM、专家通信、调度各环节都有专用实现。

2. 并行策略。 Attention DP（数据并行）、均衡 CP（上下文并行）、MoE EP + EPLB（专家并行 + 专家负载均衡）。EPLB 解决的是 MoE 的老问题：热门专家被压垮、冷门专家闲着。

3. DSpark + 置信度调度验证。 用草稿 token 加速解码，再以置信度估计调度验证——DEEPINFER_ENABLE_MTP_VARLEN=1 开启，默认最大草稿长度 5。这套机制是推测解码的生产化版本。

4. SWA 有界重放。 解码器只重放有界后缀，减少 prefill 工作量——长上下文场景的实打实优化。

5. 异步调度。 CPU 批调度与设备执行重叠，默认开启。

6. 批不变推理与确定性采样。 DEEPINFER_BATCH_INVARIANT=1（NVIDIA）让不同批组合下结果完全一致；确定性采样保证相同输入 + 参数产生逐字节相同的输出。这两条是”能上生产”的硬指标——没有可复现性，线上问题无法定位。

安装与上手

点评

亮点是”生产同源”这四个字的分量。开源推理引擎不少，但把驱动自家大规模服务的引擎放出来，等于把踩过的坑和最有效的取舍一并公开——尤其是批不变与确定性采样这种”不上生产想不到”的需求。

局限要认清：本次开源的是离线推理版本，在线服务相关的调度、多租户、弹性能力未见完整披露；重度依赖 DeepSeek 自家内核生态，换其他模型家族时收益需实测；基于 vLLM 演进意味着上游大版本升级会带来额外的跟进成本。

适合人群：在自建集群上跑 DeepSeek 系模型的团队；研究推测解码、专家并行、确定性推理的工程师；想知道”生产级”推理引擎长什么样的人。