arXiv 机器学习· Xianghao Wang, Johan Barth\'elemy, John Taylor·· 5 小时前AI 评分35
用于深度学习的可扩展 Levenberg-Marquardt 训练框架
Scalable Levenberg-Marquardt Training Framework for Deep Learning
AI 导读
研究人员提出面向多 GPU 平台的分布式 Levenberg-Marquardt（LMA）训练算法 LeMA，解决了二阶优化器难以训练大规模神经网络的问题。LeMA 通过精确对偶公式与雅可比分片策略，将显存占用从参数量的二次方降至批大小的二次方，使十亿级参数模型的精确 LMA 计算成为可能。
来源：arXiv 机器学习 · arxiv.org