arXiv 机器学习· Zachary Broveak, Christian Kubicka, Thierry Tambe·· 11 小时前AI 评分35
Spectral-MoE：Dense-to-MoE 转换中的逐层异构专家利用率
Spectral-MoE: Heterogeneous Per-Layer Expert Utilization in Dense-to-MoE Conversion
AI 导读
Spectral-MoE 提出在 Dense-to-MoE 转换中跨层异构分配专家利用率预算，包含静态标量分配与逐 token 动态调度两种方案，打破了传统方法每层激活专家数固定的限制。
来源：arXiv 机器学习 · arxiv.org