arXiv 机器学习· Ezza Ali, Sehrish Bibi, Momina Moetesum, Faisal Shafait·· 4 小时前AI 评分37
免训练 MoE 专家剪枝中的替换算子与路由语义研究
What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning
AI 导读
研究通过在 OLMoE 与 DeepSeek-V2-Lite 等模型上固定剪枝掩码，发现免训练 MoE 专家剪枝中门控重新归一化会导致 0.8-8.5 点性能损失。
来源：arXiv 机器学习 · arxiv.org