大语言模型知识蒸馏：定向验证蒸馏方法

针对大语言模型因单向关系记忆导致反向生成易错的问题，研究者提出定向标签蒸馏（directional label distillation），利用冻结教师模型在已知关系方向上对候选答案打分以构建训练目标。在亲子关系事实评测中，使用已知方向标签训练的学生模型在开放式准确率上比先验校正的反向标签基线提升了 13 至 15 个点。该方法有效减轻了教师生成错误向学生的传递，目前相关代码已开源。