arXiv 机器学习· Yuhang Yang, Mingxuan Xia, Chao Ye, Shuai Zhu, Shouqing Yang, Haobo Wang, Shenzhi Yang, Zhengqing Zang, Chenglong Wang·· 10 小时前AI 评分33
PreSO：用于同策略自蒸馏的特权表征隔离方法
PreSO: Privileged Representation Isolation for On-Policy Self-Distillation
AI 导读
研究人员提出基于特权表征隔离的同策略自蒸馏方法 PreSO，通过精简提示与跨问题低秩子空间投影，提取可复用的表征级蒸馏目标。在 5 个竞赛级数学基准测试中，PreSO 在 Qwen3-1.7B、4B 和 8B 上均显著超越强基线，相较基座模型平均准确率分别提升 6.8、9.0 和 10.0 点。此外，该方法在各个模型规模下均取得了最高的最终检查点平均表现，优势贯穿整个训练过程。
来源：arXiv 机器学习 · arxiv.org