揭秘在策略蒸馏（OPD）：教师模型的优势体现在哪里？

新研究从知识蒸馏视角探讨在策略蒸馏（OPD），通过在师生分歧处受控替换 token 直接衡量教师纠错带来的收益。实验显示，重复替换可将失败轨迹的准确率从 28.4% 提升至 74.5%，逼近教师模型的 76.9%，且基于质量与 KL 的筛选比随机替换高出 15-18 个百分点。研究同时发现更高的 argmax 一致性并不总能持续改善跨模型准确率。