arXiv 人工智能· Jiashuo Sun, Hao Zhang, Xueqiang Xu, Heng Wang, Yixuan Xie, Pengcheng Jiang, Zhenrui Yue, Jiajun Fan, Peiran Li, Ge Liu, Shaowen Wang, Jiawei Han·· 3 小时前AI 评分45
Ask to Distill:面向同策略蒸馏的数据合成学习框架
Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
AI 导读
研究人员提出名为 Ask-to-Distill 的数据合成框架,在无参考答案或正确性奖励的情况下,通过冻结的学生-教师模型对评估问题价值并优化合成器,生成用于同策略蒸馏(OPD)的提示词库。在数学推理、代码生成和智能体任务评测中,该方法性能与教师差距恢复表现均优于未优化的生成提示词及 KL 过滤真实问题,且达到或超越了真实提示词库。相关代码、数据和模型已公开。
来源:arXiv 人工智能 · arxiv.org