vLLM 官方博客（网页）·· 6 小时前精选AI 评分73
vLLM 在 24 张 NVIDIA B300 上部署优化 GLM-5.2：TPOT 从 40ms 降至 17ms
From Day 0 to Production SLAs: Serving GLM-5.2 on 24 NVIDIA B300 GPUs with vLLMJul 23, 2026·18 min readHow we took GLM-5.2-NVFP4 from 40 ms to 17 ms mean TPOT on 24 B300 GPUs with vLLM: P/D disaggregation, MTP speculative decoding, Model Runner V2, and the SLA-first trade-offs behind the final configuration.
AI 导读
DaoCloud 团队在 vLLM 官方博客分享了在 24 块 NVIDIA B300 GPU 上部署 GLM-5.2-NVFP4 的生产级优化实践，采用 4P1D 的 P/D 分离拓扑将平均 TPOT 从 40ms 降至 17ms，达成 TTFT ≤ 2.5s 与 TPOT ≤ 20ms 的 SLA 目标。
推荐理由
文章详细拆解了超大 MoE 模型在长上下文与投机解码下的端到端调优路径，给出了完整的部署配置与长周期排障经验。
来源：vLLM 官方博客（网页） · vllm.ai