跳到正文
原文
vLLM 更新· khluu·· 3 天前精选AI 评分78

vLLM v0.31.0 发布

v0.31.0

AI 导读

开源推理引擎 vLLM 正式发布 v0.31.0 版本,包含来自 307 位贡献者的 717 个提交。新版本针对 DeepSeek-V4.1-Flash 进行了算子融合与 NVFP4 KV 缓存优化并设为 SM100 默认,新增 vllm preload 快速重启权重常驻守护进程与 CRIU 引擎快照支持。

推荐理由

该版本针对大规模推理与新模型做了深度算子融合及快速重启优化,读者可了解高并发集群调优与硬件适配细节。

来源:vLLM 更新 · github.com