跳到正文
原文
arXiv 自然语言处理· Zijian Wu, Lingkai Kong, Lin Yang, Haiteng Zhao, Kuikun Liu, Kai Chen, Dahua Lin, Wenwei Zhang·· 16 小时前AI 评分41

引导而非告知:通过可达性对齐自蒸馏打破推理瓶颈

Steer, Don't Tell: Breaking Reasoning Plateaus with Reachability-Aligned Self-Distillation

AI 导读

研究人员提出自引导推理器 SSR,通过将特权教师分布投影至学生模型局部可达空间,利用可达性对齐自蒸馏解决难题采样受限问题。在大量 RL 后 pass@64 为 0 的难题上,SSR 无需更新参数即可为 74.6% 的问题找回正确且可学习的轨迹。在相关轨迹上微调并继续 RL 后,模型在 AIME25/26 和 HMMT26 上的综合准确率提升了 4.9 个百分点。

来源:arXiv 自然语言处理 · arxiv.org