跳到正文
热点事件持续更新

vLLM推出Elastic EP近零停机弹性扩缩容方案

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月20日,vLLM官方博客公布了Elastic EP近零停机扩缩容方案。该方案结合异步准备机制与定制通信库NIXL EP,致力于将专家并行部署的重配置中断时间大幅压缩至秒级。在基于GB200硬件运行DeepSeek V4 Pro的基准测试中,从16块GPU扩容至20块GPU的停机时间由原本的99.62秒降至0.82秒,缩容回16块GPU的停机时间也降至1.96秒,有效解决了此前专家并行重新配置中断时间过长的问题。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. vLLM 官方博客精选
    vLLM 推出 Elastic EP 近零停机弹性扩缩容机制

    vLLM 推出结合异步准备与定制通信库 NIXL EP 的 Elastic EP 近零停机扩缩容方案,将专家并行部署的重配置中断时间降至秒级。在 GB200 硬件运行 DeepSeek V4 Pro 的基准测试中,16 块 GPU 扩容至 20 块 GPU 的停机时间由 99.62 秒缩短至 0.82 秒,缩容至 16 块 GPU 的停机时间降至 1.96 秒。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。