TraceForge：利用学生模型自身风格重构推理链进行知识蒸馏

研究人员提出 TraceForge，通过结合上下文与教师模型的最终答案，自主生成符合学生模型家族风格的推理链以完成知识蒸馏。该方法采用监督与对抗两阶段训练，生成器生成的推理链真实度评分平均达 0.68，经判别器从 4 个候选筛选后可达 0.82。在代码基准测试中，使用相同 5,000 道题与教师答案时，最终检查点的 HumanEval+ 分数提升 3.7 分，MBPP+ 提升 7.1 分。