arXiv 机器学习· Junkang Liu·· 4 小时前AI 评分35
MuLoRA：面向持续学习的谱平衡低秩自适应
MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning
AI 导读
研究人员提出 MuLoRA 方法，通过联合控制容量分配与利用，解决 LoRA 在持续学习中因更新能量过度集中导致的谱可塑性崩溃问题。该方法结合历史白化构建任务自适应基底，并通过动量更新的近似极正交化降低选定空间内的谱集中。在 5 个类增量基准和 8 个增量设置中，MuLoRA 在 16 项报告指标中的 15 项均取得了最高平均准确率。
来源：arXiv 机器学习 · arxiv.org