arXiv 机器学习· Fatema Siddika, Abhijit Chunduru, Zilinghan Li, Ali Jannesari, Ravi Madduri·· 1 天前AI 评分34
FedSEAM:通过子空间专家共识合并实现大语言模型联邦持续学习
FedSEAM: Federated Continual Learning of LLMs via Subspace Expert Agreement Merging
AI 导读
研究人员提出面向大语言模型的联邦持续学习框架 FedSEAM,通过将任务知识组织为稀疏专家并在任务与客户端间选择性共享内容。该框架在服务端利用子空间专家共识合并(SEAM)仅沿一致方向合并更新,并针对路由漂移与合并擦除引入三项保护机制。该方法已在 TRACE 基准上基于 Qwen3-4B 和 Llama-3.2-3B 完成了评估。
来源:arXiv 机器学习 · arxiv.org