vLLM 官方博客（网页）·· 13 小时前精选AI 评分63
vLLM 推出 Tenstorrent 硬件插件 vLLM TT Plugin
Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT PluginSep 7, 2026·16 min readTenstorrent accelerators join vLLM as an out-of-tree platform plugin, driven by mesh-architecture choices: phase-based scheduling, single-process data parallelism on Galaxy, on-device sampling with host fallback, and async decode overlap.
AI 导读
vLLM 正式推出 vLLM TT Plugin，通过树外平台插件机制将 Tenstorrent 硬件接入 vLLM 推理生态，对外保持兼容 OpenAI 格式 API。
推荐理由
文章详细展示了非 GPU 网格架构适配 vLLM 的工程实践，为异构芯片接入主流推理框架提供了调度与并行设计参考。
来源：vLLM 官方博客（网页） · vllm.ai