arXiv 机器学习· Zinan Ling, Yang Xiao, Ruimeng Ye, Sijia Liu, Bo Hui·· 6 小时前AI 评分36
RA$^2$：通过保留锚定吸引在 LLM 遗忘学习中保留遗忘邻近效用
RA$^2$: Retain-Anchored Attraction Preserves Forget-Adjacent Utility in LLM Unlearning
AI 导读
研究人员提出潜空间遗忘学习方法 RA$^2$（Retain-Anchored Attraction），将遗忘 token 状态重定向至附近的保留支持表征，以解决提示词接近遗忘领域时良性推理能力下降的“遗忘邻近效用损失”问题。在 WMDP 和 MUSE 上的实验表明，在保持相似广泛效用水平下，RA$^2$ 取得比强基线更高的遗忘邻近效用，相关代码已开源。
来源：arXiv 机器学习 · arxiv.org