无需教师CoT的推理蒸馏方法Stepwise Querying提出
Start here
2026年11月2日,arXiv自然语言处理领域发布研究,提出名为Stepwise Querying的推理蒸馏方法。该方法通过向黑盒教师模型独立查询单步推导与验证,在无需获取教师模型内部思维链(CoT)轨迹的情况下,提取单步解释用于监督微调。实验结果显示,在2个教师模型、2个学生模型及4个数学与代码基准测试的16项对比中,该方法取得14项最高分。此外,研究还提出了诊断指标SEIG,并在GSM8K数据集分析中证实,保留有效中间推理的错误轨迹仍具有实用价值。
AI-generated from reports · Updated 15 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理Stepwise-Querying:无需访问教师模型 CoT 的推理蒸馏方法
研究提出 Stepwise Querying,通过向黑盒教师模型独立查询单步推导与验证,在无需获取其内部 CoT 轨迹的情况下提取单步解释用于监督微调。在 2 个教师、2 个学生模型及 4 个数学与代码 benchmark 上,该方法在 16 项对比中取得 14 项最高分。论文还提出诊断指标 SEIG,并在 GSM8K 分析中证实保留有效中间推理的错误轨迹仍具实用价值。
Story heat trend
Current heat 7·Comparable peak 10(Nov 2 14:00)·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.