arXiv 机器学习· Kyle Lemoi, Jonathan Yong, Shubhankar Tripathy, Priestley Fernandes, Anirban Majumder, Zarreen Reza·· 16 小时前AI 评分35
输出感知块影响：用于深度剪枝的 Jacobian-Lens 加权方法
Output-Aware Block Influence: Jacobian-Lens Weighting for Depth Pruning
AI 导读
研究者提出结合 Jacobian Lens（J-Lens）的深度剪枝评分方法 J-BI，通过将层扰动映射至最终残差流，解决传统 Block Influence（BI）仅衡量局部冗余而忽视下游影响的问题。在相同稀疏度下，J-BI 使 Qwen3-8B、Llama-3.1-8B-IT 和 Gemma-3-12B-IT 的剪枝后准确率较 BI 最高提升 19 个百分点，同时显著减少了对模型困惑度的损伤。
来源：arXiv 机器学习 · arxiv.org