arXiv 自然语言处理· Dicong Yu, Wenhua Wang, Tian Wang·· 12 時間前AI スコア37
Stepwise-Querying:无需访问教师模型 CoT 的推理蒸馏方法
Stepwise-Querying: Distilling Reasoning without Access to Teacher Chain-of-Thought
未翻訳のため中国語で表示しています。
AI ガイド
研究提出 Stepwise Querying,通过向黑盒教师模型独立查询单步推导与验证,在无需获取其内部 CoT 轨迹的情况下提取单步解释用于监督微调。在 2 个教师、2 个学生模型及 4 个数学与代码 benchmark 上,该方法在 16 项对比中取得 14 项最高分。论文还提出诊断指标 SEIG,并在 GSM8K 分析中证实保留有效中间推理的错误轨迹仍具实用价值。
出典:arXiv 自然语言处理 · arxiv.org