跳到正文
原文
arXiv 自然语言处理· Jaeyun Kim, Hoonki Lee, Susie Shin, Hyunmin Kim, Dahyun Lee, Sangyeob Kim·· 12 小时前AI 评分35

DPA-MoE:面向 MoE 推理的运行时精度控制框架

DPA-MoE: A Runtime Precision Control Framework for MoE Inference

AI 导读

DPA-MoE 是一个面向 MoE 推理的运行时精度控制框架,可让被路由专家支持任意精度。它利用 SharedScale AnyBCQ 将专家前馈权重编码为前缀可解码块,并在推理时按实时门控分数动态分配,无需重训练即可适配多种权重预算。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验表明,其在同等预算下比均匀分配改善了 KL 散度与下游精度。

来源:arXiv 自然语言处理 · arxiv.org