arXiv 机器学习· Woosang Lim, Haneul Yoo, Vincent-Daniel Yun, Sungjoo Yoo·· 10 小时前AI 评分38
通过保留 Attention 的 MLP 裁剪解锁推理大模型的结构化剪枝：LayerTrim
Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming
AI 导读
研究者提出免训练结构化剪枝方法 LayerTrim，通过识别冗余解码器层并选择性裁剪其 MLP 特征，在保留 attention 与解码器深度的同时保护长链推理能力。
来源：arXiv 机器学习 · arxiv.org