arXiv 机器学习· Yu Sun, Junwei Zhou, Zuodong Xiang, Yike Zhang, Pengcheng Xu, Xinyu Guan, Ruoyun Ma, Hailu Xu·· 7 小时前AI 评分34
LoRA B 矩阵内静态梯度归因在基于损失的遗忘表现上不及同等密度随机掩码
Static Gradient Attribution Underperforms a Density-Matched Random Mask on Loss-Based Forgetting Within LoRA B-Matrix
AI 导读
研究发现在 LoRA 的 B 矩阵参数池内，均匀随机掩码在基于损失的向后迁移遗忘指标上持续优于静态梯度归因。在 Qwen2.5-3B 的 7 个种子实验中，该优势主要集中在医疗任务上，贡献了总体差异的 80%，代码和数学任务趋势一致，法律任务无显著差异。但在医疗和法律两个离散选择任务上，两者的平均准确率向后迁移差异在统计学上与零无显著区别。
来源：arXiv 机器学习 · arxiv.org