arXiv 机器学习· Thibaut Boissin (IRIT), Thomas Massena (IRIT, DTIPG - SNCF, UT3), Mathieu Serrurier (IRIT), Franck Mamalet·· 5 小时前AI 评分36
Muon 在理论上不适用于卷积，但在实证中表现有效
Muon Is Theoretically Wrong For Convolutions, But Empirically Effective
AI 导读
针对 Muon 优化器将 4D 卷积张量重塑为矩阵打破理论基础的问题，研究提出了在卷积算子几何中逼近极因子的 Conv-NS 方法。实验显示，Conv-NS 与基于重塑的 Muon 均具备高计算效率，且在 CIFAR-10 和 ImageNet 分类任务上取得了相当的准确率。研究推测精确卷积正交化可能过度约束更新，相关代码已开源。
来源：arXiv 机器学习 · arxiv.org