arXiv 机器学习· Yushuai Sun, Zikun Zhou, Lin Gao, Jun Yu, Wenjie Pei·· 6 小时前AI 评分35
MoRA：通过路由偏置学习与专家逼近的 MoE 剪枝框架
MoRA: MoE Pruning via Router Bias Learning and Expert Approximation
AI 导读
研究人员提出 MoE 结构化剪枝框架 MoRA，通过学习路由偏置以保留关键且具多样性的专家，并在剪枝后利用保留专家通过仿射变换逼近被剪枝专家的输出。在 Qwen3-30B-A3B、DeepSeek-V2-Lite 和 Moonlight-16B-A3B 上剪除 25% 与 50% 路由专家的实验表明，MoRA 在 9 个 zero-shot 评测基准上均优于现有 SOTA 算法。相关代码将开源。
来源：arXiv 机器学习 · arxiv.org