arXiv 人工智能· Minju Gwak, Alan Ritter·· 11 時間前AI スコア34
利用辅助奖励实现自我提升：从已验证轨迹中学习与评估迁移
Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer
未翻訳のため中国語で表示しています。
AI ガイド
研究表明辅助轨迹偏好可改进小语言模型的自我提升与迁移能力，解决答案级奖励无法区分相同正确推理轨迹的问题。在 30 道 AIME 问题上适配 Qwen3-1.7B 时，UID-Conj. 奖励使在线宏平均表现较未修改的 TTRL 提高 2.08 个百分点。离线加权 SFT 实验中 UID-Conj. 较均匀加权提升 1.93 个百分点，有效发掘了正确轨迹中的潜在训练价值。
出典：arXiv 人工智能 · arxiv.org