vLLM 官方博客（网页）·· 2 小时前精选AI 评分77
蚂蚁集团与 vLLM 社区开源通用量化推理算子库 Humming
Announcing Humming: Fast, Flexible Kernels for Quantized InferenceOct 21, 2026·19 min readIntroducing Humming, a quantized inference kernel library from Ant Group and the vLLM community, with broad GPU and quantization support, dense and MoE performance results, and vLLM integration.
AI 导读
蚂蚁集团与 vLLM 社区联合开源量化推理算子库 Humming，支持自 Turing 架构起的 NVIDIA GPU 及平头哥真武 810E 等硬件。Humming 采用统一量化表示与轻量 JIT 编译架构，覆盖 WnA16、W8A8、W4A8 和 W4A4 等多种稠密与 MoE 计算路径，在 H200 上的单算子编译时间降至 2 秒以内。
推荐理由
原文通过解耦量化描述与底层执行组件，为跨硬件架构与低比特精度的推理部署提供了统一的加速方案。
来源：vLLM 官方博客（网页） · vllm.ai