Adam 距离自然梯度下降有多远？

Adam 优化器与自然梯度下降（NGD）的几何偏离具有上下文依赖性，在良好条件下偏差较低，但在病态条件与小型神经网络中偏离达约 10^3。较高的几何漂移虽会减缓初期优化速度，但 Adam 最终仍能稳定收敛至低损失。该研究指出其实际优化表现源于结构近似误差与动量平滑的平衡，而非严格追踪自然梯度路径。