利用专家选择偏置克服 MoE 模型数据不平衡问题

研究人员提出类别条件的专家选择偏置方法，通过向不同输入类别施加偏置来优先将 token 路由至专属专家池，以解决 MoE 模型在预训练中的数据不平衡问题。在最高达 10.6B 参数的模型中，该方法提升了多模态、低资源语言和代码任务的表现，在最小与最大模型规模下带来的收益分别相当于增加 18.5% 和 2.7% 的基线训练 token。