Skip to content
vLLM 更新· khluu·· 18 days agoSelectedAI score76

vLLM v0.32.0 发布

v0.32.0

Not yet translated; shown in Chinese.

AI guide

vLLM 正式发布 v0.32.0 版本,包含来自 363 位贡献者的 814 次提交,全面升级了低精度 KV cache 支持、Model Runner V2 调度及多模态服务能力。

Why it matters

该版本强化了低精度键值缓存与推理调度,帮助开发者了解主流开源模型在多样化硬件上的部署优化与适配方案。

Source:vLLM 更新 · github.com