本文へスキップ
原文
vLLM 更新· khluu·· 19 日前厳選AI スコア76

vLLM v0.32.0 发布

v0.32.0

未翻訳のため中国語で表示しています。

AI ガイド

vLLM 正式发布 v0.32.0 版本,包含来自 363 位贡献者的 814 次提交,全面升级了低精度 KV cache 支持、Model Runner V2 调度及多模态服务能力。

推薦理由

该版本强化了低精度键值缓存与推理调度,帮助开发者了解主流开源模型在多样化硬件上的部署优化与适配方案。

出典:vLLM 更新 · github.com