arXiv 机器学习· Min Chen, Junqi Wang, Zeguan Wu, Wenhao Huang, Junyu Liu·· 6 小时前AI 评分36
神经网络中的标度与重整化：Grokking 现象的有效重整化群描述
Scaling and Renormalization in Neural Networks: An Effective Renormalization-Group Description of Grokking
AI 导读
研究提出基于标度与重整化群（RG）理论的定量物理框架，用于描述深度神经网络中从记忆到泛化的 Grokking 延迟转变现象。针对双层神经网络的模加法任务，研究通过构建神经元耦合矩阵定义有效几何，并利用块自旋聚合执行实空间 RG。线性化该 RG 映射成功导出相关标度指数与 5 个临界指数，其实验估计值与理论预测误差在 1-10% 以内。
来源：arXiv 机器学习 · arxiv.org