arXiv 自然语言处理· Yongyuan Li, Yang Xu·· 10 小时前AI 评分36
基于均匀信息密度的偏好优化算法 UIDPO
Uniform Information Density-Based Preference Optimization
AI 导读
研究人员基于心理语言学中的均匀信息密度理论，提出新型偏好优化算法 UIDPO，用于提升大语言模型对齐效果。该算法结合全局标准差与局部二阶差分构建信息均匀度复合指标，并将其融入偏好优化目标。实验表明，UIDPO 在 AlpacaEval2、ArenaHard 和 MT-Bench 评测中取得了与前沿方法 SimPO 相当甚至更好的表现，且开源了代码库。
来源：arXiv 自然语言处理 · arxiv.org