arXiv 机器学习· Xiaoyu Li, Zhizhou Sha, Chiwun Yang, Dai Shi·· 7 小时前AI 评分40
参数高效微调范畴图谱：锥、轨道与规范
A Categorical Atlas of Parameter-Efficient Fine-Tuning: Cones, Orbits, and Gauges
AI 导读
研究人员提出用范畴论映射统一比较参数高效微调（PEFT）方法，将权重空间方法视作以预训练权重为基点的平滑映射。该框架利用映射的像、纤维与基变换三大不变量分析表达力与训练动力学，推导出零初始化 LoRA 始于锥顶且更新秩不超其自身两倍等理论性质。该研究通过公式提取的 7 个坐标对来自 138 篇论文的 382 种方法进行了系统分类。
来源：arXiv 机器学习 · arxiv.org