热点事件持续更新
vLLM 提供对月之暗面 Kimi K3 模型的 Day-0 推理支持
2 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
2026年9月30日,vLLM 官方宣布为月之暗面(Moonshot AI)2.8T 参数模型 Kimi K3 提供 Day-0 生产级推理支持。技术实现上,针对 KDA 循环注意力机制,vLLM 重构了前缀缓存,将物理状态块大小与前缀匹配粒度解耦,实现细粒度前缀缓存命中与写时复制,并优化了 MXFP4 MoE。此外,vLLM 提供了混合 KDA 前缀缓存与 DSpark 投机解码等部署方案;实测在 16 卡 NVIDIA GB300 NVL72 环境下,配合 DSpark 投机解码,单用户吞吐可达 370 tok/s,解码速度提升 3.14 倍。
AI 根据报道生成 · 5 小时前更新
最新进展9月30日 10:25
vLLM 宣布首日支持月之暗面 2.8T 模型 Kimi K3,推出 KDA 缓存与投机解码方案。事件进展
2 个进展
- 9月30日 10:25 · 1 篇报道vLLM预览对Kimi K3的生产级推理支持vLLM 官方博客:vLLM 预览 Kimi K3 生产级推理支持:重构 KDA 前缀缓存并优化 MXFP4 MoE
- 9月30日 10:25 · 1 篇报道vLLM 提供对 Kimi K3 模型的 Day-0 推理支持vLLM 官方博客:vLLM 宣布首日支持月之暗面 Kimi K3
报道时间线
沿着报道,了解事件的不同侧面。
9月30日
- vLLM 官方博客精选vLLM 预览 Kimi K3 生产级推理支持:重构 KDA 前缀缓存并优化 MXFP4 MoE
vLLM 宣布将为月之暗面(Moonshot AI)预计 7 月 27 日开源的 2.8T 参数模型 Kimi K3 提供 Day-0 生产级推理支持。针对 KDA 循环注意力机制,vLLM 将物理状态块大小与前缀匹配粒度解耦,实现了细粒度前缀缓存命中与写时复制。
- vLLM 官方博客精选vLLM 宣布首日支持月之暗面 Kimi K3
vLLM 宣布首日支持月之暗面 2.8T 参数模型 Kimi K3,提供混合 KDA 前缀缓存与 DSpark 投机解码等生产级部署方案。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码单用户吞吐可达 370 tok/s,解码速度提升 3.14 倍。
本事件热度走势
当前热度 9·可比范围峰值 10(9月30日 11:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。