研究人员提出MoE结构保留专家剪枝方法PEEP与DCEP
Start here
2026年11月，针对MoE大语言模型专家输出中存在的结构冗余问题，研究者提出了结构保留专家剪枝框架，包含PEEP与DCEP两种具体方法。该方案引入了router权重先验，分别通过最大化加权投影能量和最小化加权覆盖误差，以保留模型的函数子空间与分布几何。测试结果显示，在DeepSeek-V2-Lite和Qwen3-30B-A3B两款模型上，PEEP与DCEP在75%与50%的专家保留率设定下，均取得了超越现有SOTA基线的平均性能。
AI-generated from reports · Updated 6 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能MoE 大语言模型专家存在结构冗余：面向 MoE 的结构保留专家剪枝
针对 MoE 大语言模型专家输出的结构冗余，研究者提出结构保留专家剪枝框架，包含 PEEP 与 DCEP 两种方法。两方法引入 router 权重先验，分别通过最大化加权投影能量和最小化加权覆盖误差保留函数子空间与分布几何。在 DeepSeek-V2-Lite 和 Qwen3-30B-A3B 上，两者在 75% 与 50% 专家保留率下均取得超越 SOTA baseline 的平均性能。
Story heat trend
Current heat 8·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.