arXiv 自然语言处理· Qingyuan Zheng, Zhihao Dou·· 14 時間前AI スコア35
Shuffled OPSD：语义一致性何时会损害在线自蒸馏？
Shuffled OPSD: When Semantic Consistency Hurts On-Policy Self-Distillation?
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出打乱共享题干词序但保持教师解答范例完整的 Shuffled OPSD 方法，显著提升了在线自蒸馏的学习效果。在 3 个数学推理基准和 3 种 Qwen3 模型规模上，该方法的平均准确率均优于标准 OPSD，并在 Qwen3-1.7B 上取得最高 3.52 个百分点的增益。实验进一步表明打乱题干有益而打乱教师参考范例会损害性能，挑战了语义连贯性普遍有益的传统假设。
出典：arXiv 自然语言处理 · arxiv.org