研究揭示小语言模型深度剪枝后能力损伤与恢复规律

1. 13:00
   arXiv 自然语言处理

   小型大语言模型深度剪枝的能力损耗与恢复研究

   对 Llama-3.2-1B 等 1.2-1.7B 模型的研究发现，深度剪枝会导致函数调用和数学推理能力彻底崩溃（保留度仅 0.00-0.07）。后续微调修复中，全架构添加低秩适配器相比仅微调最后三块最高可多保留 0.18 的能力。在同等训练 token 预算下，延长均匀微调的效果匹敌或优于复杂的规划分配策略。

Current heat 6·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.