vLLM v0.29.0 版本解读：Model Runner V2 全面默认与新一代推理优化

vLLM 于 2026-09-09 发布 v0.29.0，这是其高性能 LLM 推理与服务引擎的一个重要里程碑：Model Runner V2 成为所有模型的默认执行路径，同时带来新模型架构支持、Kimi-K3 / DeepSeek V4 专项性能优化与多项新默认行为。本版本包含 594 个提交、来自 277 位贡献者（其中 91 位新贡献者）。

核心变化：Model Runner V2 全面默认

Model Runner V2（MRV2）自 pooling 模型开始铺开，本版本正式成为全部模型的默认执行路径。MRV2 新增的能力包括：

• CUDA graph 内存画像：用于 KV cache 自动定容，降低显存规划成本；
• batch-sharded sampling：将每步 logits 内存占用降低到约 1/TP；
• prompt embeds 与 extract_hidden_states 投机解码支持：扩展了输入嵌入与隐藏状态抽取两类场景；
• padded FULL cudagraph dispatch：在投机解码下统一 decode 步执行；
• DP-sync 跳过：在 EAGLE/MTP draft prefill 前减少同步开销。

MRV1 仍保留给少数 ROCm 模型及 MRV2 尚未支持的特性。

新模型架构支持

本版本新增多种模型支持：

• Hy4-preview；
• 腾讯 770B/49B 激活 MoE：采用 Gated DeepSeek Sparse Attention 与原生 MTP（多 token 预测）；
• Qwen3.8-Flash-Next：支持 BF16/FP8/NVFP4 精度与 MTP；
• GraniteSWA 与 GraniteMoeSWA；
• NemotronH_Omni_Reasoning_V3 with MTP；
• Kimi K3 NVFP4 checkpoints。

Kimi-K3 与 DeepSeek V4 专项优化

针对两类大模型做了大量底层优化，典型收益包括：

• K3 latent tail 中融合 MXFP4 top-k 收尾，端到端延迟降低约 5%；
• K3 Mamba 元数据准备改为单次 Triton launch，kernel 加速 6.6–7.6 倍；
• Hopper 低延迟 GEMM 调优扩展到 SM100，并用于 eh_proj（kernel 加速 12.9%–25.2%）；
• DeepSeek V4 shared experts 融合进 MegaMoE，自适应 top-k 宽度回归；
• 新增 opt-in 的 FlashInfer moe_ep expert 后端。

投机解码与 RL 权重同步

• OpenAI API 响应新增 per-request acceptance stats（--per-request-spec-decode-metrics），便于按请求观测投机解码接受率；
• adaptive verification 扩展到 logprobs；
• 新增 Qwen3-Omni DSpark drafts、PLaMo3 EAGLE-3/DFlash 等投机路径；
• RL 权重同步新增 sharded_rdt P2P 后端：每个 worker 只拉取自己的 TP/EP 分片（经 NIXL 或 Ray Direct Transport），并支持 rank-local IPC 权重更新与稀疏 checkpoint 坐标更新。

其他值得关注的变化

• Mamba prefix caching：内部 prefill checkpoints 使 TTFT 提升 9%–25%；prefix_cache_retention_interval 成为 CLI 参数（默认 0）；
• 新默认行为：FlashInfer all-reduce 在 TP CUDA 组默认开启（可用 VLLM_ALLREDUCE_USE_FLASHINFER=0 关闭）；prefix-cache 的 NONE_HASH 默认确定性，分布式 KV cache 用户不再需要固定 PYTHONHASHSEED；
• 新增准入控制：--max-num-queued-reqs / --max-num-queued-tokens；
• 破坏性变更：移除十个已弃用的模型架构。

适用场景

• 部署 Kimi-K3、DeepSeek V4 等新一代 MoE/混合架构模型的推理服务，直接受益于本轮专项优化；
• 使用投机解码的高吞吐场景，可通过新增的 per-request 指标观测与调优接受率；
• RL/持续训练场景需要高效权重同步的团队，可评估 sharded_rdt 后端；
• 升级前注意破坏性变更（弃用架构移除）与 MRV1→MRV2 迁移影响。

来源：vllm-project/vllm Release v0.29.0