arXiv 人工智能· Bhushit Nema, Siddharth Krishnamurthy, Anjali Kadiyala·· 18 小时前AI 评分46
小语言模型压缩技术交互效应的全因子消融研究
Compression Technique Interactions in Small Language Models: A Factorial Ablation Study
AI 导读
一项针对 2.7B-7B 小语言模型的研究评估了 72 种压缩配置，揭示了量化、剪枝与微调恢复的交互规律。测试显示 INT8 量化可减少 40-45% 内存且精度损失低于 0.5%，NF4 结合 L1 剪枝会导致模型崩溃，而 LoRA 微调可恢复高达 97% 的退化困惑度。在端侧 CPU 部署中，4-bit 量化比 8-bit 提速 46-54%，非结构化剪枝则未带来延迟或内存收益。
来源：arXiv 人工智能 · arxiv.org