神经网络训练的动态粗粒化

研究提出了神经网络训练的动态粗粒化系统框架，实现了在远小于参数空间的状态空间中预测和控制训练动态。该框架定义了学习算子，相继建立学习算子下降定理、精确闭合定理和动态粗粒化定理三大理论支撑。在有限宽度非线性 ReLU 网络测试中，由 5 个独立矩构成的模型精确预测了训练输出及演化的学习算子。