vLLM 官方博客（网页）·· 2 小时前精选AI 评分76
vLLM 推出 Elastic EP 近零停机弹性扩缩容机制
Achieving near-zero-downtime scaling in Elastic Expert ParallelismOct 15, 2026·12 min readHow asynchronous preparation and NIXL EP enabled near-zero-downtime Elastic EP scaling in vLLM.
AI 导读
vLLM 推出结合异步准备与定制通信库 NIXL EP 的 Elastic EP 近零停机扩缩容方案，将专家并行部署的重配置中断时间降至秒级。在 GB200 硬件运行 DeepSeek V4 Pro 的基准测试中，16 块 GPU 扩容至 20 块 GPU 的停机时间由 99.62 秒缩短至 0.82 秒，缩容至 16 块 GPU 的停机时间降至 1.96 秒。
推荐理由
技术方案展示了如何在保持现有推理请求不中断的前提下完成动态增减卡，为大模型在线弹性扩缩容提供了工程参考。
来源：vLLM 官方博客（网页） · vllm.ai