相关性正在破坏你的梯度下降

自然梯度下降中输入数据相关性校正可转化为网络内部的基变换，从而完全从优化器中剥离。该方案可等价实现为前向去相关线性变换或仅依赖局部信号的 Hebbian 循环动力学更新，无需进行矩阵求逆与矩阵分解。该机制适用于神经拟态硬件等物理受限系统，并在卷积与残差网络中验证了有效性。