vLLM 官方博客（网页）·· 1 小时前精选AI 评分78
vLLM 发布 Google Cloud TPU 后端 vllm-torchtpu
Introducing vLLM TorchTPUOct 20, 2026·6 min readvllm-torchtpu is a new vLLM backend for Google Cloud TPUs built on TorchTPU, with Pallas kernels, multi-host parallelism, KV cache offloading, and disaggregated serving.
AI 导读
vLLM 联合 Google 推出专为 Google Cloud TPU 设计的后端插件 vllm-torchtpu，允许直接复用已有模型定义并在 TPU 上实现高性能推理。
推荐理由
该插件让 vLLM 现有模型无需修改即可在 TPU 上运行，并提供了完整的解耦推理与并行加速支持。
来源：vLLM 官方博客（网页） · vllm.ai