arXiv 机器学习· Hoang-Chau Luong, Lingwei Chen·· 14 hours agoAI score36
通过外推“收缩-修复”前瞻实现大模型遗忘
Unlearning by Extrapolating a Shrink-and-Heal Lookahead
Not yet translated; shown in Chinese.
AI guide
大模型遗忘方法 SHIFT 通过向微调前权重收缩并短暂重学保留集，将前瞻变化外推为蒸馏目标以逼近重训模型。在 OpenUnlearning 协议下对比 11 个基线，SHIFT 在所有 TOFU 设置中取得最高综合评分，oracle 对齐度平均达到次优方法的 3.7 倍。此外，该方法在 MUSE 上保留了最多知识，且在重学习攻击下仍能紧贴 oracle。
Source:arXiv 机器学习 · arxiv.org