arXiv 机器学习· Yuxuan Li, Fanhu Zeng, Hao Tang·· 7 小时前AI 评分36
PaLoRA：面向持续学习的步调低秩适应方法
PaLoRA: Paced Low-Rank Adaptation for Continual Learning
AI 导读
研究者提出持续学习方法 PaLoRA，通过自适应 SVD 截断压缩历史知识、将梯度投影至先验任务零空间，并依据历史更新有效秩动态调节梯度步幅。该方法推导出梯度缩放法则以平衡模型稳定性与可塑性，有效抑制了有限精度更新导致的遗忘累积。实验表明，PaLoRA 在 50 任务的 ImageNet-A 和 ImageNet-R 基准上均取得了 4% 的准确率提升。
来源：arXiv 机器学习 · arxiv.org