vLLM 更新· khluu·· 3 days agoSelectedAI score72
推理框架 vLLM 发布 v0.33.0 版本
v0.33.0
Not yet translated; shown in Chinese.
AI guide
大模型推理框架 vLLM 正式发布 v0.33.0 版本，升级至 PyTorch 2.14.0 并弃用 CUDA 12.9，发布镜像全面转向 CUDA 13.0。
Why it matters
新版本全面转向 CUDA 13.0 与 PyTorch 2.14，并在推测解码与跨节点 KV 传输上提供了可用于大规模部署优化的工程参考。
Source:vLLM 更新 · github.com