arXiv 机器学习· Alicem Koyun·· 9 小时前AI 评分27
面向噪声深度学习的矩引导优化器：MGO-SC 作为 Adam 类更新的简单一致性门控
Moment-Guided Optimizers for Noisy Deep Learning: MGO-SC as a Simple Consistency Gate for Adam-Style Updates
AI 导读
研究人员提出面向噪声深度学习的优化器 MGO-SC，通过梯度符号 EMA 构建逐坐标一致性门控，对符号波动的坐标进行降权。其均值保持变体在 ResNet-18 与 CIFAR-10 测试中全面优于 AdamW 基线，在 40% 对称标签噪声下性能提升 1.4 个百分点。该方法无需二阶信息或逐样本过滤，相关代码及实验日志已开源。
来源：arXiv 机器学习 · arxiv.org