Hot storiesContinuously updated
研究揭示MoE推理阶段专家停用须匹配训练期权重规则
1 reports1 reporting sourcesUpdated 3 hours ago
Start here
AI overview
2026年11月5日，arXiv自然语言处理领域发布研究指出，模型在推理阶段停用专家时，权重处理方式必须与训练期权重规则相匹配，否则会导致困惑度剧烈上升。测试结果显示，在停用半数专家的情况下，若保持训练规则，困惑度为完整基线的1.4至73倍；而若规则不匹配，困惑度则会飙升至完整基线的14至28,740倍。此外，在OLMoE模型上，测试的四种停用实现方式均导致GSM8K严格匹配准确率直接降至0。
AI-generated from reports · Updated 2 hours ago
Latest developmentsNov 5 13:00
研究显示MoE推理期停用专家若不匹配训练权重规则，困惑度最高可飙升至2.8万余倍。Report timeline
Follow the reports to see different sides of the story.
Nov 5
- arXiv 自然语言处理推理阶段专家停用中匹配训练期权重规则
模型在推理阶段停用专家时的权重处理方式必须与训练期权重规则相匹配，否则会导致困惑度剧烈上升。在停用半数专家的测试中，保持训练规则时的困惑度为完整基线的 1.4 至 73 倍，而规则不匹配时则会飙升至 14 至 28,740 倍。在 OLMoE 模型上，测试的四种停用实现方式均导致 GSM8K 严格匹配准确率降至 0。
Story heat trend
Not enough continuous data yet to draw a trend.