理论解析：为何梯度裁剪对 AdaGrad 优化算法至关重要
该研究在广义光滑性与重尾噪声假设下分析了经典逐坐标 AdaGrad 算法。研究指出，未引入梯度裁剪的 AdaGrad 会出现“各向异性失准”问题：在重尾噪声冲击下，其自适应学习率分母容易记录罕见噪声的几何特征而非目标函数的真实局部曲率，进而导致持久的方向性失真。该理论成果为自适应优化器中梯度裁剪的必要性提供了高概率理论支撑。
推荐理由针对深度学习自适应优化器中梯度裁剪机制的理论分析，对大模型底层训练优化有一定理论参考价值。
原标题：Why Clipping Matters in AdaGrad? Toward a High-Probability Theory under Generalized Smoothness
阅读 arXiv 机器学习 原文 ↗