arXiv 自然语言处理· Yunkai Chai, Tong Zhu, Xiaoye Qu, Xuyang Hu, Guanjie Chen, Qipeng Guo, Yu Cheng·· 5 小时前AI 评分34
平滑 Sparse MoE 的 Top-k 暴露边界
Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts
AI 导读
研究提出弹性专家路由（Elastic Expert Routing），通过在以 k 为中心的局部离散分布中随机采样激活专家预算，平滑了稀疏专家混合（Sparse MoE）模型中静态 top-k 机制带来的刚性边界。
来源：arXiv 自然语言处理 · arxiv.org