arXiv 自然语言处理· Jingkai Guo, Ziyi Zhao, Chaitali Chakrabarti, Deliang Fan·· 5 小时前AI 评分34
CoLU：面向大语言模型的置信度加权分层机器遗忘方法
CoLU: Confidence-Weighted Layerwise Unlearning for Large Language Models
AI 导读
研究人员提出针对大语言模型的置信度加权分层机器遗忘方法 CoLU，通过更新单个 Transformer 层并结合置信度加权正则化来实现目标信息遗忘与知识保留。配合分层筛选机制 BLS，CoLU 运行时间可缩短 60.2% 至 79.7%，平均 GPU 显存占用相比全模型遗忘降低 77.4% 至 79.5%。该方法在 TOFU 及 MUSE 基准上均取得领先的遗忘与保留表现。
来源：arXiv 自然语言处理 · arxiv.org