arXiv 机器学习· Nicol\'as Mauricio Cuadrado \'Avila, Ivo Gollini Navarrete, Martin Tak\'a\v{c}, Samuel Horv\'ath·· 2 小时前AI 评分34
构建用于 LLM 非结构化训练后剪枝的嵌套式 LADDER
Building a Nested LADDER for LLM Unstructured Post-Training Pruning
AI 导读
研究提出大语言模型非结构化训练后剪枝方法 LADDER，通过递增分配非均匀稀疏度并生成嵌套 mask，控制高稀疏度下的性能衰减。该方法以 SparseGPT 为候选生成后端，在 5 款 OPT、Llama 和 Qwen 模型上测试了 10-90% 稀疏度。结果显示，LADDER 在 70% 以上高稀疏度下鲁棒性显著更强，且经后续蒸馏后仍能在 4 款模型中保持优势并提升综合零样本准确率。
来源：arXiv 机器学习 · arxiv.org