arXiv 机器学习· Charles H. Martin·· 12 時間前AI スコア36
深度学习的谱重整化群视角
A Spectral Renormalization-Group View of Learning
未翻訳のため中国語で表示しています。
AI ガイド
新研究提出深度学习的谱重整化群（RG）视角，揭示神经网络层重尾幂律谱指数 $\alpha \approx 2$ 是稳定学习与过拟合的统计及物理分界点。该数值在物理上使谱能量增益在对数谱尺度上均匀缩放，满足威尔逊边缘条件。基于此建立的 SETOL 理论将谱 RG 流与 Muon 优化器相连接，并衍生出新的优化器扩展 WW-PGD。
出典：arXiv 机器学习 · arxiv.org