预条件指数为负时的优化器特性：学习率耦合与跨环境泛化研究
该研究针对自适应优化器中二阶矩估计的预条件指数展开探索。现有部分自适应方法通常研究动量更新与标准Adam平方根之间的指数设定，但该指数与全局学习率之间的耦合作用尚不明确。研究人员构建了包含稳定稀疏特征、环境相关伪稀疏特征、密集特征及高维噪声的四环境分类控制实验，覆盖21种预条件指数配置，系统分析了非常规负指数对跨环境泛化能力的影响。
推荐理由聚焦深度学习自适应优化算法底层机制的基础理论研究，对探索模型跨分布泛化具有一定参考价值。
原标题：When the Preconditioning Exponent Turns Negative: Learning-Rate Coupling and Cross-Environment Generalization
阅读 arXiv 机器学习 原文 ↗