arXiv 机器学习· Shiting Wang, Yingjie Zou, Ke li·· 13 時間前AI スコア39
分离共性与独有方向实现无数据模型合并
Separating Common and Unique Directions for Data-Free Model Merging
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出无数据模型预合并方法 CUSD，通过将任务向量分解为共性与独有方向分量，用下游算术算子合并共性分量并单独保留独有残差。在覆盖 11 个基座模型、4 个模型家族和 4 种算术合并算子的实验中，CUSD 改善了 44 个组合中的 42 个，相比基线最高取得 22.5% 的性能提升，相关代码已公开。
出典：arXiv 机器学习 · arxiv.org