arXiv 机器学习· Hamed Mahdavi (Pennsylvania State University), Pouria Mahdavinia (Pennsylvania State University), Majid Farhadi (Google), Vasant Honavar (Pennsylvania State University)·· 13 小时前AI 评分42
将提示拼接进推理轨迹:通过 SPLICE 从演示失败中学习
Splicing Hints into Reasoning Traces: Learning from Demonstrator Failures
AI 导读
研究人员提出离线数据生成工作流 SPLICE,利用参考解答在模型推理轨迹失败时截断至最后验证步骤,并自适应拼接提示以修复失败轨迹。微调于 SPLICE 轨迹的模型在 AIME 以及奥数证明评测中的表现,均超越了从未经编辑轨迹蒸馏的同类模型。训练后的模型在难点处会展现类似拼接提示的分支行为并尝试更高风险步骤,伴随预测熵上升。
来源:arXiv 机器学习 · arxiv.org