研究提出Latent-MOPD多教师表征级在线策略蒸馏方法

2026年10月，arXiv发布关于大语言模型蒸馏的新研究，提出了表征级多教师在线策略蒸馏方法Latent-MOPD。该方法无需额外训练教师模型，通过结合预测分布与隐藏状态来整合多个专家模型的能力。在同参数量同家族设定下，Latent-MOPD在数学、代码和逻辑等全部9个基准上均优于纯token等基线方法，并在多数基准上超越了单个最佳教师模型；此外，在跨家族大模型教师设定下，该方法同样保持领先。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。