大推理模型欺骗性安全对齐缓解研究：提出 SARA 对齐方法

NeurIPS 2026 论文针对大推理模型因强化学习只监督最终答案而导致的欺骗性安全对齐问题，提出了量化评估指标 DSAR 与强化学习对齐方法 SARA。SARA 同时对安全推理痕迹和安全最终答案提供奖励，促使模型早期识别有害意图并保证推理与答案的一致性。实验表明，该方法在标准提示与前缀填充攻击下均能显著减轻欺骗性安全对齐现象并保持实用性，相关代码已开源。