arXiv 自然语言处理· Zhiyuan Wang·· 4 小时前AI 评分41
MoE 模型在 Prefill 阶段削减专家究竟损害了什么：少数提示词 Token 承担了大部分短问答 F1 损失
Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss
AI 导读
研究发现 MoE 模型在 Prefill 阶段削减专家导致的短问答 F1 损失主要由极少数 token 承担。在 Qwen3-30B-A3B 与 DeepSeek-V2-Lite 中，损失分别来自答案前 2 个模板 token 和前 8-32 个指令 token；仅对约 4% 接口 token 保留完整专家即可将 F1 差距保持在 1 point 内。
来源：arXiv 自然语言处理 · arxiv.org