arXiv 人工智能· Pengpeng Qiao, Yang Cao, Lingling Zhang, Guo Cheng, Junwei Chen, Manjiang Yu, Wei Yang Bryan Lim, Masatoshi Yoshikawa·· 4 小时前AI 评分35
聚合前先对齐：异构秩下的基底一致联邦 LoRA
Align Before Aggregation: Basis-Consistent Federated LoRA under Heterogeneous Ranks
AI 导读
研究人员提出面向异构秩的联邦 LoRA 聚合框架 FedAbA，解决大语言模型联邦微调中客户端局部基底不一致导致的模型不稳定问题。FedAbA 在聚合前将各客户端局部基底对齐至全局参考基底前缀，结合数据规模与一致性得分加权聚合，并通过系数空间 SVD 重构后分发秩前缀。实验表明其表现优于代表性基线，且在秩异构性最强时增益最显著。
来源：arXiv 人工智能 · arxiv.org