arXiv 自然语言处理· Oscar Chew, Po-Yi Lu, Yi-Jie Cheng, Kunal Jain, Hsuan-Tien Lin, Zhengzhong Tu, Kuan-Hao Huang·2026-10-15 12:00· 7 小时前AI 评分40

我们真的在衡量遗忘吗？多模态 LLM 机器遗忘评估的陷阱

Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs

AI 导读

研究人员指出多模态大语言模型（MLLM）现存机器遗忘基准存在过度沿用纯文本评估协议、依赖微调合成知识而非预训练真实知识等三大缺陷。为此研究团队推出基于真实世界知识与规范化协议的新基准 GEMMU。在 GEMMU 下重新评估代表性遗忘方法暴露出显著的泛化差距，直接挑战了以往基准得出的结论。