arXiv 自然语言处理· Ilgee Hong, Changlong Yu, Zhenghao Xu, Xin Liu, Yuwei Zhang, Qin Lu, Bing Yin, Tuo Zhao·· 1 天前AI 评分33
通过位置选择性自蒸馏从语言反馈中训练 LLM 裁判
Training LLM Judges from Language Feedback via Position-Selective Self-Distillation
AI 导读
研究提出一种基于位置选择性自蒸馏的方法，利用自然语言反馈训练 LLM 裁判，以解决主观任务的评估标准权重问题。该方法根据教师与学生模型间的位置熵偏移屏蔽高熵偏移位置，从而提升分布外泛化能力。实验表明，所训练的自蒸馏裁判在主观子类别评测中相比结果监督 RL 高出 2-9 个百分点，且在客观任务上保持竞争力。
来源：arXiv 自然语言处理 · arxiv.org