arXiv 机器学习· Ezza Ali, Sehrish Bibi, Momina Moetesum, Faisal Shafait·· 1 day agoAI score37
免训练 MoE 专家剪枝中的替换算子与路由语义研究
What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning
Not yet translated; shown in Chinese.
AI guide
研究通过在 OLMoE 与 DeepSeek-V2-Lite 等模型上固定剪枝掩码，发现免训练 MoE 专家剪枝中门控重新归一化会导致 0.8-8.5 点性能损失。
Source:arXiv 机器学习 · arxiv.org