arXiv 人工智能· Di Wu, Shuaidong Pan·· 2 小时前AI 评分34
GRAM:基于子空间对齐的分组秩感知模型合并
GRAM: Group-wise Rank-Aware Model Merging via Subspace Alignment
AI 导读
研究人员提出分组秩感知模型合并方法 GRAM,利用任务向量的主角几何结构将兼容任务分组并执行 SVD 合并,仅需微调权重。在仅引入一个额外模型(K=2)的情况下,该方法显著缓解了子空间干扰。GRAM 在 Flan-T5 的 GLUE、8 任务 CLIP 以及融合 4 个中英文医学 LoRA 的 Qwen2-7B-Instruct 上均优于以往合并方法。
来源:arXiv 人工智能 · arxiv.org