arXiv 机器学习· Ali Abbasi, Justin Shi, Soheil Kolouri·· 1 天前AI 评分40
BASE：基于预测移除误差的高效 MoE 解码批次感知专家选择
BASE: Batch-Aware Selection of Experts Using Predicted Removal Error for Efficient MoE Decoding
AI 导读
研究人员提出 BASE 方法，通过轻量线性预测器预估移除专家对 MoE 层输出的影响，在批次解码中跨请求协调与复用专家，无需重训模型即可优化能效权衡。在 Qwen3-30B-A3B 上，BASE 在严格专家预算且吞吐量相当时平均准确率比最强基线提升 29.5 分；在更高预算下比稠密推理提速 60% 且准确率差距在 0.4 分以内。
来源：arXiv 机器学习 · arxiv.org