ホットトピック継続更新中
研究揭示MoE推理阶段专家停用须匹配训练期权重规则
1 件の報道1 件の報道元8 時間前 更新
まずこの件を把握する
AI 概要
2026年11月5日，arXiv自然语言处理领域发布研究指出，模型在推理阶段停用专家时，权重处理方式必须与训练期权重规则相匹配，否则会导致困惑度剧烈上升。测试结果显示，在停用半数专家的情况下，若保持训练规则，困惑度为完整基线的1.4至73倍；而若规则不匹配，困惑度则会飙升至完整基线的14至28,740倍。此外，在OLMoE模型上，测试的四种停用实现方式均导致GSM8K严格匹配准确率直接降至0。
AI が報道をもとに生成 · 8 時間前 更新
最新の進展11月5日 13:00
研究显示MoE推理期停用专家若不匹配训练权重规则，困惑度最高可飙升至2.8万余倍。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月5日
- arXiv 自然语言处理推理阶段专家停用中匹配训练期权重规则
模型在推理阶段停用专家时的权重处理方式必须与训练期权重规则相匹配，否则会导致困惑度剧烈上升。在停用半数专家的测试中，保持训练规则时的困惑度为完整基线的 1.4 至 73 倍，而规则不匹配时则会飙升至 14 至 28,740 倍。在 OLMoE 模型上，测试的四种停用实现方式均导致 GSM8K 严格匹配准确率降至 0。
このストーリーのホット度の推移
現在のホット度 8·比較可能範囲のピーク 10（11月5日 14:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。