RAZOR：基于功能可替代性评估的免训练MoE模型剪枝方法
针对混合专家（MoE）模型虽然激活参数少但全量专家存储负担重的问题，研究人员提出了名为RAZOR的免训练专家剪枝方法。该研究指出，专家的激活频率或贡献幅度并不能直接衡量移除它带来的损失，核心在于剩余计算是否能替代其功能。RAZOR利用专家输出与共识的残差偏差来量化其“功能可替代性”，从而在固定剪枝预算下最大限度保留原模型的输出分布，有效压缩MoE模型存储。
推荐理由提出了一种新颖的MoE免训练剪枝思路，从‘功能可替代性’角度压缩存储，对轻量化部署具有参考价值。
原标题：RAZOR: Pruning Replaceable Experts in LLMs
阅读 arXiv 机器学习 原文 ↗