vLLM 更新· khluu·· 2 日前厳選AI スコア72
推理框架 vLLM 发布 v0.33.0 版本
v0.33.0
未翻訳のため中国語で表示しています。
AI ガイド
大模型推理框架 vLLM 正式发布 v0.33.0 版本，升级至 PyTorch 2.14.0 并弃用 CUDA 12.9，发布镜像全面转向 CUDA 13.0。
推薦理由
新版本全面转向 CUDA 13.0 与 PyTorch 2.14，并在推测解码与跨节点 KV 传输上提供了可用于大规模部署优化的工程参考。
出典：vLLM 更新 · github.com