论文揭示大语言模型自我改进循环中的赢者诅咒现象

大语言模型在自我改进循环中复用小型评估集会导致赢者诅咒，选择集上测得的收益会显著高于保留集的真实表现。在 Qwen 模型的重写实验中，16 个选择样本下的贪婪循环最终选择集得分比 600 个保留样本高出 13 至 20 个百分点，256 个样本时仍高出 1 至 5 个百分点，且首轮之后的大多数改动提议实际上具有破坏性。