arXiv 机器学习· Kaijian Zou, Emiliano Penaloza, MohammadHossein Rezaei, Anisha Gunjal, Mohit Raghavendra, Lu Wang, Yunzhong He, Anas Mahmoud·· 4 小时前AI 评分35
预测在策自蒸馏（OPSD）中特权信息的有效性
Predicting Privileged Information Effectiveness for On-Policy Self-Distillation
AI 导读
针对大模型在策自蒸馏（OPSD），研究系统评估了 16 种特权信息（PI）配置在多轮智能体任务中的效果，发现高信息密度轨迹能带来更显著的增益。为在训练前评估 PI，研究提出的错误步 KL 对比等指标成功避免了信息泄漏，能更一致地预测训练后表现。基于该指标筛选 PI 并与 GRPO 结合，模型性能进一步超越了强 GRPO 基线。
来源：arXiv 机器学习 · arxiv.org