arXiv 机器学习· Xiuyi Qin·· 2 小时前AI 评分48
2:4 稀疏是否仍有价值？LLM 推理中半结构化稀疏与量化的对比研究
Is 2:4 Sparsity Still Worth It? Semi-Structured Sparsity versus Quantization in LLM Inference
AI 导读
在 LLM 推理中，硬件支持更低量化精度时，降精度在速度与精度上均优于引入 2:4 半结构化稀疏。但达到硬件最低精度后，2:4 稀疏能让线性层提速 1.3-1.7x，在 H100 上通过 vLLM 部署重训练 FP8 模型可使 prefill 吞吐提升 27% 且 GSM8K 精度持平。不过其精度依赖重训练恢复，且在 Blackwell 架构的稀疏 FP4 下损失更大。
来源：arXiv 机器学习 · arxiv.org