arXiv 机器学习· Xincheng Xu, Thilina Ranbaduge, Thierry Rakotoarivelo, David Smith·· 10 小时前AI 评分33
曲率感知裁剪：利用近似二阶信息缓解 DPSGD 偏置
Curvature-Aware Clipping: Mitigating Bias in DPSGD via Approximate Second-Order Information
AI 导读
研究人员提出曲率感知差分隐私随机梯度下降（CA-DPSGD）框架，利用近似二阶信息构建最优裁剪空间，以缓解 DPSGD 中的梯度裁剪偏置与几何失准难题。该框架集成了曲率矩阵矫正估计器，并结合各向异性噪声机制确保差分隐私保证。实验表明，CA-DPSGD 在模型效用表现上优于现有的 SOTA 裁剪方法。
来源：arXiv 机器学习 · arxiv.org