arXiv 机器学习· Annan Zhang, Shengjie Song, Wenshuai Yao, Lihao Zhang, Tianmiao·· 16 時間前AI スコア35
基于共享梯度界限的 Adam 优化器状态受保护压缩
Guarded Compression of Adam Optimizer State with Shared-Gradient Bounds
未翻訳のため中国語で表示しています。
AI ガイド
研究提出基于共享梯度界限的 Adam 优化器状态受保护压缩方法，在容差 $\tau=0.01$ 下将逃逸率降至 0.53%，负载降至 FP32 的 28.3%。
出典：arXiv 机器学习 · arxiv.org