arXiv 机器学习· Gwen Legate, Rahaf Aljundi, Eugene Belilovsky·· 11 小时前AI 评分32
Optimal Hydra：基于数据感知 Hydra-Nets 的大语言模型异构联邦学习
Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets
AI 导读
研究人员提出基于 Transformer 架构的异构联邦学习微调框架 Optimal Hydra，利用客户端本地数据分布生成定制子网络 Hydra-nets。该方法将全局层选择与匹配本地数据分布的客户端注意力头选择相结合，据称为首个专为大语言模型微调定制的模型异构联邦学习方案。在 3 个数据集上的实验表明，其在降低本地资源需求的同时显著优于基线方法。
来源：arXiv 机器学习 · arxiv.org