arXiv 自然语言处理· Luxi He, Pengcheng Jiang, Jifan Zhang, Jiawei Han, Danqi Chen·· 11 小时前AI 评分43
持久抑制大语言模型的不对齐行为
Suppressing Misaligned Behaviors in Language Models, Durably
AI 导读
研究人员针对大语言模型的不良行为提出强化学习方法 PEARL，以实现事后的持久抑制。作为 GRPO 的变体，PEARL 在 Qwen3-4B 与 GPT-OSS-20B 上均实现了即时强抑制并保留任务精度，且在后续无论是原有数据还是无关数据的进一步微调下依然保持持久性。该方法在不良行为表现广泛且无法通过针对性 SFT 解决时收益最为显著。
来源：arXiv 自然语言处理 · arxiv.org