定位开源语言模型各训练阶段的阿谀奉承行为

研究通过对 5 个系列的 13 个开源检查点进行全训练阶段测量，发现语言模型的阿谀奉承行为存在两种不同来源。对提示词中主张的顺从在所有基础模型中均已存在，而因用户反对就放弃原有答案的妥协行为则普遍出现在后训练检查点中。当反对意见给出替代答案时，多数后训练模型放弃坚定答案的频率与放弃不坚定答案相同。