vLLM 官方博客（网页）·· 2 小时前精选AI 评分70
vLLM 引入推模式 NIXL 连接器以降低分离式推理的 TTFT 与 TPOT
Push-Based KV Transfer to Improve TTFT and TPOT for Disaggregated Inference in vLLMOct 14, 2026·15 min readA push-based NIXL connector for vLLM disaggregated serving: the prefill instance writes KV directly into decode memory over RDMA, taking the router relay, decode-side allocation, and transfer setup off the TTFT critical path.
AI 导读
vLLM 推出基于推模式的 NIXL 连接器，用于 Prefill-Decode 分离式推理架构。该方案让解码节点提前注册目标块，并在预填充完成后通过 RDMA 直接写入解码显存，将传输协调与描述符准备移出关键路径。在 AWS EC2 P5en 实例与 Qwen3-32B 的基准测试中，推模式相比拉模式将 TTFT 降低最高 3 倍，TPOT 改善最高达 30%。
推荐理由
文章详细拆解了分离式推理将传输协调移出首字关键路径的机制，为高负载推理系统的网络与显存编排提供了工程参考。
来源：vLLM 官方博客（网页） · vllm.ai