arXiv 机器学习· Annan Zhang, Shengjie Song, Wenshuai Yao, Lihao Zhang, Tianmiao·· 21 hours agoAI score35
基于共享梯度界限的 Adam 优化器状态受保护压缩
Guarded Compression of Adam Optimizer State with Shared-Gradient Bounds
Not yet translated; shown in Chinese.
AI guide
研究提出基于共享梯度界限的 Adam 优化器状态受保护压缩方法，在容差 $\tau=0.01$ 下将逃逸率降至 0.53%，负载降至 FP32 的 28.3%。
Source:arXiv 机器学习 · arxiv.org