vLLM 官方博客（网页）·· 1 天前AI 评分53
Novita AI 开源 W4A16 MoE 算子 Chord 并集成至 vLLM
vLLM x Novita AI: Chord, Faster INT4 MoE for Kimi K2.x. Up to 1.3x on H200, 2.15x on Untuned B300Sep 15, 2026·14 min readNovita AI has open-sourced Chord, a high-performance W4A16 MoE CUDA kernel for Kimi K2.x serving shapes, with a Humming-compatible indexed path and grouped SM90 operators.
AI 导读
Novita AI 开源了面向 Kimi K2.x 等模型的高性能 W4A16 MoE CUDA 算子 Chord，并接入 vLLM 的 Humming 量化后端。
来源：vLLM 官方博客（网页） · vllm.ai