arXiv 机器学习· Annan Zhang, Shengjie Song, Wenshuai Yao, Lihao Zhang, Tianmiao·· 21 小时前AI 评分35
基于共享梯度界限的 Adam 优化器状态受保护压缩
Guarded Compression of Adam Optimizer State with Shared-Gradient Bounds
AI 导读
研究提出基于共享梯度界限的 Adam 优化器状态受保护压缩方法，在容差 $\tau=0.01$ 下将逃逸率降至 0.53%，负载降至 FP32 的 28.3%。
来源：arXiv 机器学习 · arxiv.org