arXiv 机器学习· Gongyue Zhang, Honghai Liu·· 6 小时前AI 评分34
逻辑与记忆的冲突：浅层 MLP 中的高阶交互学习
The Conflict Between Logic and Memory: Learning Higher-Order Interactions in Shallow MLPs
AI 导读
针对单隐层 MLP 的研究揭示了拟合与规则学习的冲突，证实优化算法与干扰输入会直接制约网络对高阶规则的学习。在 3 阶任务中，SGD、Adam 和 Muon 的峰值测试准确率分别为 96.25%、50.87% 和 76.82%，Muon 在 4 阶达到 99.21%。此外，仅冻结干扰输入相连的首层权重即可将 AdamW 的第 10 轮准确率从 44.73% 提升至 95.07%。
来源：arXiv 机器学习 · arxiv.org