Skip to content
arXiv 机器学习· Shiting Wang, Yingjie Zou, Ke Li·· 2 days agoAI score45

面向模型合并分离共用与独特方向

Separating Common and Unique Directions for Model Merging

Not yet translated; shown in Chinese.

AI guide

针对现有模型合并算术方法忽略方向合并差异的问题,研究者提出无数据预合并方法 CUSD,将任务向量分解为共用与独特方向分量分别处理。跨 11 个基础模型、4 个模型家族及 4 种算术合并算子的实验显示,CUSD 改进了 44 个组合中的 42 个,较基线最高实现 22.5% 的性能提升,相关代码已开源。

Source:arXiv 机器学习 · arxiv.org