跳到正文
原文
arXiv 人工智能· Di Wu, Shuaidong Pan·· 2 小时前AI 评分34

GRAM:基于子空间对齐的分组秩感知模型合并

GRAM: Group-wise Rank-Aware Model Merging via Subspace Alignment

AI 导读

研究人员提出分组秩感知模型合并方法 GRAM,利用任务向量的主角几何结构将兼容任务分组并执行 SVD 合并,仅需微调权重。在仅引入一个额外模型(K=2)的情况下,该方法显著缓解了子空间干扰。GRAM 在 Flan-T5 的 GLUE、8 任务 CLIP 以及融合 4 个中英文医学 LoRA 的 Qwen2-7B-Instruct 上均优于以往合并方法。

来源:arXiv 人工智能 · arxiv.org