arXiv 自然语言处理· Hao Cheng (Zhejiang Gongshang University), Zhiyu Yang (Chang'an University), Bo Ma (Zhejiang Gongshang University), Hanzhang Jia (University of Sussex)·· 4 小时前AI 评分35
推理阶段专家停用中匹配训练期权重规则
Matching the Training-Time Weight Rule in Inference-Time Expert Deactivation
AI 导读
模型在推理阶段停用专家时的权重处理方式必须与训练期权重规则相匹配，否则会导致困惑度剧烈上升。在停用半数专家的测试中，保持训练规则时的困惑度为完整基线的 1.4 至 73 倍，而规则不匹配时则会飙升至 14 至 28,740 倍。在 OLMoE 模型上，测试的四种停用实现方式均导致 GSM8K 严格匹配准确率降至 0。
来源：arXiv 自然语言处理 · arxiv.org