arXiv 自然语言处理· Marius De Kuthy Meurers, Aaron Parisi, Bernd Bohnet·· 7 小时前AI 评分41
一致性不等于有效性：自我奖励的道德论证让大语言模型更果断却易受摆布
Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable
AI 导读
研究人员通过强化学习训练大语言模型在掩码思考的自我锦标赛中评估论证质量，以期通过论证奖励提升道德判断表现。在 MoralChoice、ELEPHANT 和 MORABLES 基准测试中，该策略更显果断且对选项呈现顺序具备不变性，但阿谀奉承与重构框架仍对其有效性构成挑战。研究表明选项重排下的一致性虽可被优化，却未改善其本应体现的道德判断有效性。
来源：arXiv 自然语言处理 · arxiv.org