arXiv 人工智能· Zhanhong Jiang, Qisai Liu, Soumik Sarkar·· 7 小时前AI 评分32
愿景论文:为什么分布式 LLM 后训练与去中心化对齐已不可或缺
Vision Paper: Why Distributed LLM Post-Training and Decentralized Alignment Are Now Essential
AI 导读
论文提出分布式与去中心化学习应成为 LLM 后训练的核心范式,指出当前 RLHF 和 DPO 依赖的集中式偏好数据假设在科学、实践与伦理上均不可持续。研究围绕隐私与数据主权、多元公平性及可扩展性展开论证,形式化分析了参考漂移、偏好异质性以及对比损失下的 DP-utility 权衡等核心技术挑战,并给出了具体算法研究方向。
来源:arXiv 人工智能 · arxiv.org