跳到正文
原文
vLLM 更新· khluu·· 1 天前精选AI 评分74

vLLM v0.32.0 发布

v0.32.0

AI 导读

vLLM 正式发布 v0.32.0 版本,新增结构化决策端点 /v1/systemone,并将 Model Runner V2 设为 ROCm 平台的默认运行器。

推荐理由

版本带来了低精度 KV cache 扩展与多模型推理优化,工程团队可以评估显存占用降低与短请求吞吐提升带来的部署收益。

来源:vLLM 更新 · github.com