研究提出利用辅助奖励改进小语言模型自我提升能力
Start here
2026年11月2日，arXiv人工智能领域发表研究《利用辅助奖励实现自我提升：从已验证轨迹中学习与评估迁移》。该研究指出，辅助轨迹偏好能够改进小语言模型的自我提升与迁移能力，旨在解决答案级奖励无法区分相同正确推理轨迹的局限。实验结果显示，在30道AIME问题上适配Qwen3-1.7B模型时，采用UID-Conj.辅助奖励使在线宏平均表现较未修改的TTRL提高了2.08个百分点；在离线加权SFT实验中，UID-Conj.相较于均匀加权提升了1.93个百分点，展现出挖掘正确轨迹潜在训练价值的效果。
AI-generated from reports · Updated 7 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能利用辅助奖励实现自我提升：从已验证轨迹中学习与评估迁移
研究表明辅助轨迹偏好可改进小语言模型的自我提升与迁移能力，解决答案级奖励无法区分相同正确推理轨迹的问题。在 30 道 AIME 问题上适配 Qwen3-1.7B 时，UID-Conj. 奖励使在线宏平均表现较未修改的 TTRL 提高 2.08 个百分点。离线加权 SFT 实验中 UID-Conj. 较均匀加权提升 1.93 个百分点，有效发掘了正确轨迹中的潜在训练价值。
Story heat trend
Current heat 8·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.