arXiv 机器学习· Maximilian Wong, Chenyu Xu, Jiajin Li, Yiping Lu·· 6 小时前AI 评分37
基于 L-平滑度的神经网络优化器深度迁移研究
On the Depth Transfer of Neural Optimizers via L-Smoothness
AI 导读
研究人员基于 L-平滑度框架，提出将残差分支缩放设为与深度倒数成正比（$\alpha=\Theta(1/K)$），可使损失的 Lipschitz 和 L-平滑度常数在固定宽度下与深度无关。
来源：arXiv 机器学习 · arxiv.org