arXiv 机器学习· Lingxiang Wang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng·· 4 小时前AI 评分34
基于奇异向量选择的 LLM 持续学习：平衡稳定性与可塑性
Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning
AI 导读
研究人员提出参数高效持续学习方法 SVC，通过选择性更新奇异向量通道来平衡大语言模型的稳定性与可塑性，缓解灾难性遗忘。该方法在微调前评估各通道的收益与遗忘成本，并通过拐点筛选、Pareto 前沿过滤和 Otsu 阈值自适应选取可训练通道。在 4 个 LLM 家族和 8 个下游任务上的实验表明，SVC 相比现有 PEFT 基线能更好保留预训练能力并保持强下游表现。
来源：arXiv 机器学习 · arxiv.org