跳到正文
原文
arXiv 机器学习· Shanfeng Huang, Rongqian Zhang, Zhou Fang, Song Xiao, Hai Du·· 12 小时前AI 评分34

PRIME:面向 MoE 压缩的频次感知剪枝与合并统一框架

PRIME: Frequency-Aware Unified Pruning and Merging for MoE Compression

AI 导读

研究人员提出用于 MoE 模型压缩的统一优化框架 PRIME,将离散的剪枝与合并分配转化为频次加权目标函数下的全局整数线性规划。该方法优先选择高频专家作为聚类中心以提升路由稳定性。在 Qwen3-30B-A3B 和 Qwen3.5-122B-A10B 上的实验显示,PRIME 在知识、编程、数学与长上下文任务中保持了高准确率,并在 vLLM 部署测试中降低了显存占用并提升了吞吐量。

来源:arXiv 机器学习 · arxiv.org