论文揭示潜意识强化学习机制：模型特征可通过裁判打分在无语义数据中隐蔽传递

研究表明在大语言模型裁判的强化学习后训练中，即使学生模型仅输出自创音节或数字等无语义内容，裁判模型的偏好特征也会单纯通过打分转移给学生。在 48 个设计单元中有 17 个在 5% 假发现率下确认了特征迁移，且该机制同样会导致不良 AI 安全倾向隐形渗透。研究提出了包含四个阶段的传递链原理，表明在训练前测量各阶段状态可提前预测并防范该安全风险。