热点事件持续更新
研究提出专家选择偏置方法缓解MoE数据不平衡
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月，研究人员提出一种类别条件的专家选择偏置方法，旨在解决混合专家（MoE）模型在预训练阶段面临的数据不平衡问题。该方法通过对不同输入类别施加偏置，优先将token路由至专属专家池。实验表明，在最高达10.6B参数的模型中，该方法有效提升了多模态、低资源语言及代码任务的表现；在最小与最大模型规模下带来的性能收益，分别相当于为基线训练增加了18.5%和2.7%的token量。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 12:00
研究提出类别条件专家选择偏置方法，在最高10.6B参数MoE模型上改善了数据不平衡问题。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv 自然语言处理利用专家选择偏置克服 MoE 模型数据不平衡问题
研究人员提出类别条件的专家选择偏置方法，通过向不同输入类别施加偏置来优先将 token 路由至专属专家池，以解决 MoE 模型在预训练中的数据不平衡问题。在最高达 10.6B 参数的模型中，该方法提升了多模态、低资源语言和代码任务的表现，在最小与最大模型规模下带来的收益分别相当于增加 18.5% 和 2.7% 的基线训练 token。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。