热点事件观察中
研究团队提出MoE路由框架HERO-MoE
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
2026年9月，研究人员在 arXiv 发布论文提出 HERO-MoE 路由框架。该框架通过复用前序层的路由分布，为混合专家模型（MoE）注入历史路由先验，并引入保尺度融合机制来稳定历史信号。HERO-MoE 无需辅助路由损失，并兼容标准 top-k 等稀疏分发方式。实验结果显示，在基于 100B tokens 训练的约 8B 参数（0.5B 激活参数）MoE 模型中，该方法将损失从 1.6393 降低至 1.6184，同时峰值显存与 FLOPs 仅分别增加 0.44% 和 0.64%。
AI 根据报道生成 · 8 小时前更新
最新进展9月29日 12:00
研究团队提出 HERO-MoE 路由框架，引入历史路由先验优化 MoE 性能且计算开销极低。报道时间线
沿着报道，了解事件的不同侧面。
9月29日
- arXiv 自然语言处理HERO-MoE：基于保尺度融合的历史专家路由机制
研究人员提出 HERO-MoE 路由框架，通过复用前序层路由分布为 MoE 注入历史路由先验，并引入保尺度融合机制稳定历史信号。该框架无需辅助路由损失，兼容标准 top-k 等稀疏分发。在 100B tokens 训练的约 8B 参数（0.5B 激活参数）MoE 实验中，损失从 1.6393 降至 1.6184，峰值显存与 FLOPs 仅分别增加 0.44% 和 0.64%。
本事件热度走势
当前热度 4·可比范围峰值 5（9月30日 12:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。