vLLM 官方博客（网页）·· 2 小时前精选AI 评分71
vLLM 实现 DeepSeek-V4.1-Flash 大规模推理优化：性能对标 DeepInfer 并扩展至 GB300 NVL72
Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72Oct 23, 2026·15 min readWith P/D disaggregation and Wide-EP on a GB300 NVL72 rack, vLLM serves DeepSeek-V4.1-Flash on SemiAnalysis AgentX at 954K tokens/s per GPU at a P90 of 196 tokens/s per user, 7.9x our aggregated single-node result.
AI 导读
vLLM 在单台 NVIDIA GB300 NVL72 机架上结合 P/D 分离与 Wide-EP，运行 DeepSeek-V4.1-Flash 在 SemiAnalysis AgentX 基准中达到单 GPU 954K tokens/s 的吞吐量，P90 延迟为单用户 196 tokens/s。
推荐理由
原文详细拆解了 vLLM 在整机架规模下结合 Wide-EP 与 EPLB 优化 MoE 推理的瓶颈与解法，为超大规模并发部署提供了实操参考。
来源：vLLM 官方博客（网页） · vllm.ai