arXiv 自然语言处理· Piyush Dhoka, Vedant Pandhare, Varun Inamdar, Aadarsh Pathre, Pavitha Nooji·· 17 時間前AI スコア39
小型大语言模型深度剪枝的能力损耗与恢复研究
What Breaks and What Comes Back: Capability Damage and Recovery in Depth-Pruned Small Language Models
未翻訳のため中国語で表示しています。
AI ガイド
对 Llama-3.2-1B 等 1.2-1.7B 模型的研究发现，深度剪枝会导致函数调用和数学推理能力彻底崩溃（保留度仅 0.00-0.07）。后续微调修复中，全架构添加低秩适配器相比仅微调最后三块最高可多保留 0.18 的能力。在同等训练 token 预算下，延长均匀微调的效果匹敌或优于复杂的规划分配策略。
出典：arXiv 自然语言处理 · arxiv.org