原型引导双向对齐的多模态联邦学习框架 MFedPBA

研究人员提出多模态联邦学习框架 MFedPBA，以应对客户端架构异构与模态严重不平衡的实际挑战。该框架采用双重对齐机制，在特征层通过对比学习与 Gromov-Wasserstein 距离优化的投影编码器对齐异构特征空间，在决策层利用 logit 原型进行熵加权聚合。实验表明，MFedPBA 在模型异构与模态不平衡场景下的表现显著超越现有 SOTA 基线。