跳到正文
原文
arXiv 自然语言处理· Dicong Yu, Wenhua Wang, Tian Wang·· 9 小时前AI 评分37

Stepwise-Querying:无需访问教师模型 CoT 的推理蒸馏方法

Stepwise-Querying: Distilling Reasoning without Access to Teacher Chain-of-Thought

AI 导读

研究提出 Stepwise Querying,通过向黑盒教师模型独立查询单步推导与验证,在无需获取其内部 CoT 轨迹的情况下提取单步解释用于监督微调。在 2 个教师、2 个学生模型及 4 个数学与代码 benchmark 上,该方法在 16 项对比中取得 14 项最高分。论文还提出诊断指标 SEIG,并在 GSM8K 分析中证实保留有效中间推理的错误轨迹仍具实用价值。

来源:arXiv 自然语言处理 · arxiv.org