arXiv 机器学习· Xue Zheng, Aylin Yener·· 5 時間前AI スコア30
面向联邦混合专家模型的服务端稀疏分配
Server-Side Sparse Assignment for Federated Mixture-of-Experts
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出联邦混合专家模型（MoE）服务端稀疏分配框架 $S^3$-MoE，通过利用-探索机制从部分观测中分配客户端特定专家，并给出精确 Top-$K$ 恢复保证。在 CIFAR-100 实验中，$S^3$-MoE 仅为每个客户端加载 5 个专家，平均最终准确率比访问全部 20 个专家的 Full-20 FedAvg 提高 1.31 个百分点。
出典：arXiv 机器学习 · arxiv.org