arXiv 自然语言处理· Vedant Pandhare, Piyush Dhoka·· 6 小时前AI 评分37
校准语言对多语言大语言模型 Block-Influence 剪枝的影响研究
Calibration Language Shapes Block-Influence Pruning in Multilingual Language Models
AI 导读
研究表明多语言大语言模型深度剪枝中的 Block Influence（BI）指标高度依赖校准分布，仅用英语校准会系统性忽略印度语言在后部网络层的活动。在 Qwen2.5-1.5B-Instruct、Llama-3.2-1B 和 Gemma-2-2B 上，印度语言的后部层 BI 比英语高出 20.7-55.5%，导致移除层选择出现偏差。
来源：arXiv 自然语言处理 · arxiv.org