词典序多目标同策略蒸馏方法 LMOPD

LMOPD 是一种通过显式优先级整合多专家策略的多目标同策略蒸馏方法，旨在防止简洁度等次要目标损害准确率等高优先级能力。在 30B-A3B MoE 模型的数学基准测试中，双专家设置下 LMOPD 完全保留了准确率与推理质量增益并获得 46.9% 的简洁度增益；四专家设置下保留了约 90% 的准确率和推理正确性增益，显著优于次优基线的约 57%。