arXiv 机器学习· Junjie Xiao, Huiwen Jia·· 5 小时前AI 评分30
大初始化下近似逻辑回归梯度下降轨迹的理想路径
Ideal Paths for Approximating Logistic Gradient Descent Trajectories at Large Initialization
AI 导读
研究针对大初始化（尺度为 $R$）下的全批量逻辑回归梯度下降（GD）轨迹，构造了一条包含负边界修正与最小边界增长两阶段的连续“理想路径”。在时间重参数化下，固定步长的归一化 GD 轨迹在 $R \to \infty$ 时一致收敛至该路径，且定量误差界涵盖了初始化扰动与阶段过渡。该几何近似还推导出了峰值评估损失和累积训练损失的显式渐近公式。
来源：arXiv 机器学习 · arxiv.org