Latent-MOPD：多教师隐空间在线策略蒸馏方法

研究提出面向大语言模型的表征级多教师在线策略蒸馏方法 Latent-MOPD，无需额外训练教师即可结合预测分布与隐藏状态整合多个专家模型的能力。在同参数量同家族设定下，Latent-MOPD 在数学、代码和逻辑等全部 9 个基准上优于纯 token 等基线，并在多数基准上超越单个最佳教师；在跨家族大模型教师设定下同样保持领先。