arXiv 机器学习· Gilad Karpel, Daniel Soudry·· 10 小时前AI 评分27
高维持续线性回归的最优显式与隐式正则化强度研究
Optimal Explicit and Implicit Regularization Strengths in High-Dimensional Continual Linear Regression
AI 导读
该研究推导出了高维持续线性回归中梯度下降泛化损失的闭式解，证明在独立同分布教师任务下最优固定步长按 $\ln T / T$ 衰减。在此尺度下，该泛化损失渐近等价于最优调节的各向同性 L2 正则化。相关理论预测已在多任务线性模型和神经网络实验中得到验证。
来源：arXiv 机器学习 · arxiv.org