Novita AI 开源 Chord：面向 Kimi K2.x 的高效 INT4 MoE 算子，推理提速最高达 2.15 倍
Novita AI 与 vLLM 社区合作开源了高性能 W4A16 MoE CUDA 算子 Chord。该算子专为 Kimi K2.x 等混合专家模型的推理服务架构优化，支持与 Humming 兼容的索引路径及 SM90 分组。基准测试显示，Chord 在英伟达 H200 芯片上可实现最高 1.3 倍的加速，在未调优的 B300 芯片上加速比达 2.15 倍，显著优化了 MoE 架构的推理性能。
推荐理由开源了针对热门 MoE 架构的高性能量化算子，显著提升主流及下一代 GPU 的推理效率。
原标题：vLLM x Novita AI: Chord, Faster INT4 MoE for Kimi K2.x. Up to 1.3x on H200, 2.15x on Untuned B300
阅读 vLLM 官方博客（网页） 原文 ↗