arXiv 机器学习· Carson Cary, Yukai Jin, Yihao Huang, Zhankai Ye, Fangyi Li, Ting Hua, Xin Liu, Shangqian Gao·· 8 小时前AI 评分38
GS-MoE：通过分组子空间共享与剪枝实现的免训练 MoE 压缩
GS-MoE: Training-Free MoE Compression via Groupwise Subspace Sharing and Pruning
AI 导读
研究人员提出免训练 MoE 压缩框架 GS-MoE，通过分组低秩共享子空间与基于 Nyström 的神经元压缩，同时消除专家间与专家内的参数冗余。在 DeepSeek-MoE-16B-Base 减少 60% 总模型参数的测试中，GS-MoE 保留了约 90% 的平均推理性能，优于 D$^2$-MoE 的 73%，且域外困惑度降低 20%。
来源：arXiv 机器学习 · arxiv.org