Google Developers · AI 筛选·· 1 小时前精选AI 评分78
Google 发布基于 TorchTPU 的原生 vLLM 与 SGLang 推理引擎
Announcing New vLLM and SGLang Inference Engines on TPU
AI 导读
Google 联合 Inferact 与 RadixArk 推出基于 TorchTPU 的原生 PyTorch 后端，让 vLLM 与 SGLang 能够直接在 TPU 上运行并保留标准 PyTorch 开发调试体验。
推荐理由
原文给出了基于 TorchTPU 的原生软硬件协同架构与 KV 缓存管理方案，为开发者在 TPU 上低成本部署开源大模型提供了可落地参考。
来源：Google Developers · AI 筛选 · developers.googleblog.com