研究人员提出面向大模型的可扩展LMA训练框架LeMA

1. 12:00
   arXiv 机器学习

   用于深度学习的可扩展 Levenberg-Marquardt 训练框架

   研究人员提出面向多 GPU 平台的分布式 Levenberg-Marquardt（LMA）训练算法 LeMA，解决了二阶优化器难以训练大规模神经网络的问题。LeMA 通过精确对偶公式与雅可比分片策略，将显存占用从参数量的二次方降至批大小的二次方，使十亿级参数模型的精确 LMA 计算成为可能。

当前热度 9·可比范围峰值 10（10月19日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。