热点事件持续更新
研究揭示MoE推理阶段专家停用须匹配训练期权重规则
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年11月5日，arXiv自然语言处理领域发布研究指出，模型在推理阶段停用专家时，权重处理方式必须与训练期权重规则相匹配，否则会导致困惑度剧烈上升。测试结果显示，在停用半数专家的情况下，若保持训练规则，困惑度为完整基线的1.4至73倍；而若规则不匹配，困惑度则会飙升至完整基线的14至28,740倍。此外，在OLMoE模型上，测试的四种停用实现方式均导致GSM8K严格匹配准确率直接降至0。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 13:00
研究显示MoE推理期停用专家若不匹配训练权重规则，困惑度最高可飙升至2.8万余倍。报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv 自然语言处理推理阶段专家停用中匹配训练期权重规则
模型在推理阶段停用专家时的权重处理方式必须与训练期权重规则相匹配，否则会导致困惑度剧烈上升。在停用半数专家的测试中，保持训练规则时的困惑度为完整基线的 1.4 至 73 倍，而规则不匹配时则会飙升至 14 至 28,740 倍。在 OLMoE 模型上，测试的四种停用实现方式均导致 GSM8K 严格匹配准确率降至 0。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。