RubricOpt：用于偏好优化的语义评分标准自修订框架

研究人员提出偏好优化框架 RubricOpt，允许策略模型在训练中自我诊断无评分标准的输出并修订行为准则。该方法通过确定性门控检查证据引用与固定语义锚点，并在偏好数据对与目标固定的前提下，利用修订后的评分标准引导 DPO 训练，评估时移除该标准。能力与开放式生成基准实验表明，RubricOpt 相比常规 DPO 能改善结果，但收益与回退因模型和数据集而异。