vLLM 官方博客（网页）·· 3 小时前精选AI 评分79
vLLM 推出 Kimi K3.1 Pro 首日推理支持
vLLM Delivers Day-0 Support for Kimi K3.1 ProNov 4, 2026·22 min readvLLM supports Kimi K3.1 Pro on day 0: sparse attention on a KDA hybrid, a packed KV cache with FP8 or NVFP4 latents and MXFP4 index keys, token-sharded prefill, decode context parallelism, and fused low-latency decode.
AI 导读
vLLM 宣布为月之暗面开源模型 Kimi K3.1 Pro 提供首日推理支持，全面适配其混合架构中的 DSA 稀疏注意力机制。系统将 MLA 潜变量、索引键与 KDA 状态整合成单一块级 KV 缓存，支持 NVFP4 与 MXFP4 量化，并在 8 卡 GB300 上实现最高 1.69 倍的首字延迟优化。
推荐理由
原文详细拆解了稀疏注意力与混合状态 KV 缓存的显存打包方案，为长上下文超大 MoE 模型的低延迟部署提供了工程参考。
来源：vLLM 官方博客（网页） · vllm.ai