arXiv 自然语言处理· Yang Liu, Shaoyang Xu, Masahiro Kaneko, Chengzhi Zhong, Wenxuan Zhang, Chenhui Chu·· 6 小时前AI 评分44
后训练如何塑造 LLM 价值偏好
How Does Post-Training Shape LLM Value Preferences?
AI 导读
一项对照实验通过基于 SFT、DPO 和 GRPO 的五条路径，发现后训练会差异化放大语料中的观点不平衡并塑造 LLM 价值偏好。一旦偏好被放大，后续训练能否消除取决于训练方法与语料观点比例，且模型的干预稳定性也会受其影响。此外，即便知识蒸馏语料中不包含明确观点问题，这些价值偏好依然会转移给学生模型。
来源：arXiv 自然语言处理 · arxiv.org