arXiv 机器学习· Beheshteh T. Rakhshan, Sahar Rajabi, Maziar Sargordi Shikai Fang, Guillaume Rabusseau, Sirisha Rambhatla·· 7 小时前AI 评分43
Clean：基于 Nyström 方法实现线性内存开销的二阶 LLM 训练优化器
Clean: Second-order LLM Training at Linear Memory Cost via Nystr\"om Sketching
AI 导读
新型全曲率二阶优化器 Clean 通过 Nyström 方法将内存复杂度降至线性，并支持在单张 80GB GPU 上预训练 13B 参数模型。Clean 的优化器状态显存开销小于标准 AdamW，达到相同最终性能的实际耗时快 26%。其低精度变体 Q-Clean 在预训练 LLaMA-1.3B 时，相较 Muon 减少超过 50% 的优化器显存占用。
来源：arXiv 机器学习 · arxiv.org