arXiv 人工智能· Yuxuan Lou, Kai Yang, Geng Zhang, Yong Liu, Yang You·· 7 小时前AI 评分35
DivMoE：基于跨领域专家组合的细粒度 MoE 升级复用
DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition
AI 导读
DivMoE 框架通过领域专用专家初始化与多样性约束路由，实现了结构平衡的细粒度 MoE 升级复用。在基于 Qwen3-1.7B 的 15 项基准测试中，DivMoE 取得 55.6% 的平均准确率，优于 6 种基线方法。
来源：arXiv 人工智能 · arxiv.org