arXiv 机器学习· Ping Liu, Yan Yan·· 9 小时前AI 评分36
评分与偏好冲突时：DPO 约束漂移的对齐前诊断与自适应校正
When Scores Conflict with Preferences: Pre-Alignment Diagnosis and Adaptive Correction of Constraint Drift in DPO
AI 导读
针对 DPO 中成对偏好与逐点评分冲突导致的约束漂移问题，研究提出了对齐前诊断指标 $\rho^{*}_{\mathrm{eq}}$ 与校正算法 CoDPO。CoDPO 依据 $\rho^{*}_{\mathrm{eq}}$ 对冲突样本自适应降权，并引入自适应间隔偏移消除训练中的残余漂移。
来源：arXiv 机器学习 · arxiv.org