vLLM 官方博客（网页）·· 2026-09-30SelectedAI score81
vLLM 宣布首日支持月之暗面 Kimi K3
Kimi K3 Is Here: Efficient Day-0 Support on vLLMJul 27, 2026·24 min readvLLM delivers day-0 Kimi K3 serving with hybrid KDA prefix caching, DSpark speculative decoding, production-scale disaggregation, and optimized kernels across NVIDIA and AMD GPUs.
Not yet translated; shown in Chinese.
AI guide
vLLM 宣布首日支持月之暗面 2.8T 参数模型 Kimi K3，提供混合 KDA 前缀缓存与 DSpark 投机解码等生产级部署方案。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码单用户吞吐可达 370 tok/s，解码速度提升 3.14 倍。
Why it matters
文章详细拆解了针对超大混合架构模型的缓存改造与投机解码方案，为同类长上下文 MoE 的高效部署提供了完整参考。
Source:vLLM 官方博客（网页） · vllm.ai