热点事件持续更新
vLLM推出Elastic EP近零停机弹性扩缩容方案
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月20日,vLLM官方博客公布了Elastic EP近零停机扩缩容方案。该方案结合异步准备机制与定制通信库NIXL EP,致力于将专家并行部署的重配置中断时间大幅压缩至秒级。在基于GB200硬件运行DeepSeek V4 Pro的基准测试中,从16块GPU扩容至20块GPU的停机时间由原本的99.62秒降至0.82秒,缩容回16块GPU的停机时间也降至1.96秒,有效解决了此前专家并行重新配置中断时间过长的问题。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 03:03
vLLM发布结合NIXL EP的Elastic EP方案,实现专家并行部署秒级停机扩缩容。报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- vLLM 官方博客精选vLLM 推出 Elastic EP 近零停机弹性扩缩容机制
vLLM 推出结合异步准备与定制通信库 NIXL EP 的 Elastic EP 近零停机扩缩容方案,将专家并行部署的重配置中断时间降至秒级。在 GB200 硬件运行 DeepSeek V4 Pro 的基准测试中,16 块 GPU 扩容至 20 块 GPU 的停机时间由 99.62 秒缩短至 0.82 秒,缩容至 16 块 GPU 的停机时间降至 1.96 秒。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。