平坦损失与演化特征：模加法中的顿悟（Grokking）现象研究

研究发现在模加法任务中，神经网络在训练交叉熵损失保持平坦甚至上升时仍能持续学习。在保持 100% 训练准确率的同时，ReLU 网络的隐层特征持续演化，测试集准确率可从 0 提升至 90% 以上。该共存现象在单隐层网络理论定理、随机初始化的更深网络（p=47 与 61）以及 1-2 层的 Transformer 中均得到验证。