研究人员提出基于共享梯度界限的Adam状态受保护压缩方法

1. 13:00
   arXiv 机器学习

   基于共享梯度界限的 Adam 优化器状态受保护压缩

   研究提出基于共享梯度界限的 Adam 优化器状态受保护压缩方法，在容差 $\tau=0.01$ 下将逃逸率降至 0.53%，负载降至 FP32 的 28.3%。

Current heat 6·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.