跳到正文
热点事件持续更新

vLLM 提供对月之暗面 Kimi K3 模型的 Day-0 推理支持

2 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

2026年9月30日,vLLM 官方宣布为月之暗面(Moonshot AI)2.8T 参数模型 Kimi K3 提供 Day-0 生产级推理支持。技术实现上,针对 KDA 循环注意力机制,vLLM 重构了前缀缓存,将物理状态块大小与前缀匹配粒度解耦,实现细粒度前缀缓存命中与写时复制,并优化了 MXFP4 MoE。此外,vLLM 提供了混合 KDA 前缀缓存与 DSpark 投机解码等部署方案;实测在 16 卡 NVIDIA GB300 NVL72 环境下,配合 DSpark 投机解码,单用户吞吐可达 370 tok/s,解码速度提升 3.14 倍。

AI 根据报道生成 · 5 小时前更新

事件进展

2 个进展
  1. 9月30日 10:25 · 1 篇报道
    vLLM预览对Kimi K3的生产级推理支持
    vLLM 官方博客:vLLM 预览 Kimi K3 生产级推理支持:重构 KDA 前缀缓存并优化 MXFP4 MoE
  2. 9月30日 10:25 · 1 篇报道
    vLLM 提供对 Kimi K3 模型的 Day-0 推理支持
    vLLM 官方博客:vLLM 宣布首日支持月之暗面 Kimi K3

报道时间线

沿着报道,了解事件的不同侧面。

9月30日
  1. vLLM 官方博客精选
    vLLM 预览 Kimi K3 生产级推理支持:重构 KDA 前缀缓存并优化 MXFP4 MoE

    vLLM 宣布将为月之暗面(Moonshot AI)预计 7 月 27 日开源的 2.8T 参数模型 Kimi K3 提供 Day-0 生产级推理支持。针对 KDA 循环注意力机制,vLLM 将物理状态块大小与前缀匹配粒度解耦,实现了细粒度前缀缓存命中与写时复制。

  2. vLLM 官方博客精选
    vLLM 宣布首日支持月之暗面 Kimi K3

    vLLM 宣布首日支持月之暗面 2.8T 参数模型 Kimi K3,提供混合 KDA 前缀缓存与 DSpark 投机解码等生产级部署方案。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码单用户吞吐可达 370 tok/s,解码速度提升 3.14 倍。

本事件热度走势

当前热度 9·可比范围峰值 10(9月30日 11:00)·近 24 小时可比范围变化 –

02.557.5109月30日11:009月30日12:009月30日14:009月30日15:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。