arXiv 自然语言处理· Yun Li, Ehsan Javanmardi, Simon Thompson, Jiachen Gong, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada·· 2 小时前AI 评分47
ECHO：共模隐藏偏移导致偏好优化出现词表崩溃
ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization
AI 导读
研究发现偏好优化中累积的共模隐藏偏移会抬高单一 token 概率形成词表陷阱，最终引发模型生成崩溃。在逐 token 排序损失下，17 个基座模型家族中有 14 个出现该崩溃，全参数 SimPO 在 Llama-2 与 Llama-3.1 上也触发此现象。17 次 UltraFeedback 运行显示排序指标提升反而可能恶化生成质量，该表征信号可在崩溃发生前提供预警。
来源：arXiv 自然语言处理 · arxiv.org