游戏中的适得其反反馈：大语言模型玩家会重复刚失败的操作吗？

研究发现将失败操作记录写入对话历史会导致大语言模型智能体更容易重复犯错。在推箱子、四子棋和黑白棋测试中，8 个 135M-1.7B 参数的模型在非法操作下矫正增益为 G = -1.38 nats/token，贪婪解码仍会重复 38% 原本想走的操作。省略具体操作字符串的失败描述可保留偏好，且该现象在 OLMo 2 1B 经过 DPO 阶段后基本消除。