arXiv 机器学习· Zhanhong Jiang, Soumik Sarkar·· 10 小时前AI 评分34
基于 LoRA 适配器的个性化联邦直接偏好优化（pFedDPO）
Personalized Federated Direct Preference Optimization via LoRA Adapters
AI 导读
研究者提出个性化联邦直接偏好优化方法 pFedDPO，让每个客户端在共享全局基座模型之上维护一个私有 LoRA 适配器，以应对异质偏好分布。该方法每轮通过 FedAvg 同步基座模型，同时保留本地 LoRA 适配器来捕获个性化偏好模式。实验表明，pFedDPO 在保持训练损失与客户端奖励准确率竞争力的同时，梯度范数始终低于原生 FedDPO。
来源：arXiv 机器学习 · arxiv.org