arXiv 人工智能· Tian Wang, Yongding Tao, Yihong Dong, Xiaoming Wu, Ying Guo, Ge Li·· 6 小时前AI 评分36
MoE 大语言模型专家存在结构冗余：面向 MoE 的结构保留专家剪枝
Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models
AI 导读
针对 MoE 大语言模型专家输出的结构冗余，研究者提出结构保留专家剪枝框架，包含 PEEP 与 DCEP 两种方法。两方法引入 router 权重先验，分别通过最大化加权投影能量和最小化加权覆盖误差保留函数子空间与分布几何。在 DeepSeek-V2-Lite 和 Qwen3-30B-A3B 上，两者在 75% 与 50% 专家保留率下均取得超越 SOTA baseline 的平均性能。
来源：arXiv 人工智能 · arxiv.org