arXiv 机器学习· Yikuan Li, Pinyan Lu, Fanghui Liu·· 10 小时前AI 评分36
参数高效微调（PEFT）方法之间真的有差异吗？
Are Parameter-Efficient Fine-tuning Methods Really Different?
AI 导读
一项针对语言与扩散模型的研究对比了 6 种 PEFT 方法，发现 LoRA 系列方法同样能近似保持预训练权重几何结构，显式几何保持设计的必要性存疑。在适应与遗忘权衡中，LoRA 最能稳定限制遗忘，DoRA 任务均分更高，而 PiSSA 遗忘代价更大。干预实验显示恢复主要谱成分能最大程度减少通用文本 NLL 与图像漂移，代码已开源。
来源：arXiv 机器学习 · arxiv.org