arXiv 机器学习· Harikrishna Kuttivelil, Katia Obraczka·· 5 小时前AI 评分31
SPADE-KD：异构环境下的点对点协同学习框架
SPADE-KD: Peer-to-Peer Collaborative Learning under Heterogeneous Settings
AI 导读
研究人员提出完全去中心化的模型蒸馏框架 SPADE-KD，旨在解决模型架构与数据分布双重异构环境下的点对点协同学习问题，优化个性化而非全局性能。该框架包含自适应蒸馏与效用驱动的节点选择两大机制，依据任务损失差异动态调节蒸馏强度并筛选高价值协作伙伴。在联邦分类任务实验中，SPADE-KD 的损失表现和收敛速度均优于朴素去中心化蒸馏。
来源：arXiv 机器学习 · arxiv.org