arXiv 机器学习· Quan Nguyen, Robin Yadav, Param Mody, Mark Schmidt·· 5 小时前AI 评分27
非线性可分数据上的极简 ReLU 分类器：稳定性边缘及更广区域下的收敛性与隐式偏差
A Minimal ReLU Classifier on Non-Linearly Separable Data: Convergence and Implicit Bias at and beyond the Edge of Stability
AI 导读
研究人员针对一维非线性可分数据训练的双神经元 ReLU 网络，分析了梯度下降在非凸非光滑目标及稳定性边缘（EoS）条件下的收敛行为与隐式偏差。理论证明了常数学习率下的有限时间损失界，并提出一种自适应学习率策略，实现了优于标准 $O(1/T)$ 的 $O(1/(T\log{T}))$ 损失收敛速率。相关局部收敛结论进一步拓展到了更通用的网络结构，并在 MNIST 数据集上完成了验证。
来源：arXiv 机器学习 · arxiv.org