arXiv 机器学习· Tianze Wang, Zhiqi Bu, Linjun Zhang·· 4 小时前AI 评分38
迈向差分隐私优化的超参数迁移
Towards Hyperparameter Transfer for Differentially Private Optimization
AI 导读
研究团队提出 DP-$\mu$P 框架，将极大更新参数化（$\mu$P）扩展至差分隐私训练，解决了标准 $\mu$P 在隐私约束下失效的问题。该方法结合信噪比条件与谱缩放，为 DP-SGD、DP-Adam 和 DP-Muon 优化器提供了逐层学习率缩放规则。
来源：arXiv 机器学习 · arxiv.org