arXiv 机器学习· Fangshuo Liao, Anastasios Kyrillidis·· 2 天前AI 评分32
理解 Hessian 与梯度协方差矩阵的子空间稳定性
Understanding the Subspace Stabilization of the Hessian and Gradient Covariance Matrix
AI 导读
研究提出一种评估子空间演化的新不稳定性度量，揭示了神经网络训练中 Hessian 矩阵与梯度协方差矩阵顶层子空间的稳定性机制。通过对梯度协方差矩阵进行类间与类内分解，研究给出了两者 top-$(C-1)$ 子空间的显式近似形式。在梯度流设定下，该稳定现象被证明源于 Hessian 矩阵离群特征值与主体特征值的分离。
来源：arXiv 机器学习 · arxiv.org