arXiv 机器学习· Jie Li, Youming Tao, Bowei He, Meng Ding·· 9 小时前AI 评分33
大语言模型更新匹配遗忘学习：Update-Matched Unlearning 兼顾重学抵御与模型可塑性
Not All Change Is Damage: Update-Matched Unlearning for Large Language Models
AI 导读
研究人员提出 Update-Matched Unlearning（UMU）方法，通过向防御模型和未防御参考模型应用相同的模拟重学更新，解决大语言模型遗忘知识后在后续微调中既要抵御重学又要保持新任务学习能力的问题。在 TOFU 与 FaithUn 基准及 Llama、Qwen 模型上的实验表明，UMU 将有害和良性重学平均降低 30.4 和 9.9 个点，同时使新任务准确率提升 3.5 个点。
来源：arXiv 机器学习 · arxiv.org