arXiv 人工智能· Chenlu Ding, Jiancan Wu, Yanchen Luo, Tianyu Zhang, Yancheng Yuan, Xiang Wang, Xiangnan He·· 9 小时前AI 评分33
CUSE:基于反事实引导与策略内自蒸馏的细粒度多模态遗忘框架
CUSE: Fine-Grained Multimodal Unlearning with Counterfactual Guidance and On-Policy Self-Distillation
AI 导读
研究人员提出多模态大语言模型细粒度遗忘框架 CUSE,通过构建反事实输入分析 token 概率变化,精准定位需遗忘的目标信息。该方法利用冻结的原模型作为教师模型,在当前策略采样的响应上联合自蒸馏 token 级的遗忘与保留目标。在 MLLMU-Bench 上,CUSE 使遗忘集 ROUGE-L 降低 33.6%,保留集 ROUGE-L 比最强基线高出 1.2%。
来源:arXiv 人工智能 · arxiv.org