研究提出Shuffled OPSD自蒸馏方法

1. 13:00
   arXiv 自然语言处理

   Shuffled OPSD：语义一致性何时会损害在线自蒸馏？

   研究人员提出打乱共享题干词序但保持教师解答范例完整的 Shuffled OPSD 方法，显著提升了在线自蒸馏的学习效果。在 3 个数学推理基准和 3 种 Qwen3 模型规模上，该方法的平均准确率均优于标准 OPSD，并在 Qwen3-1.7B 上取得最高 3.52 个百分点的增益。实验进一步表明打乱题干有益而打乱教师参考范例会损害性能，挑战了语义连贯性普遍有益的传统假设。

Current heat 6·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.