热点事件持续更新
研究者提出无动量优化器Muon-RT以降低训练内存
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月，研究者在arXiv发布论文，提出名为Muon-RT的无动量优化器。该方法针对大语言模型自蒸馏场景，通过复用EMA教师模型与学生模型之间的位移，消除了隐藏权重矩阵的动量缓冲区，进而显著降低训练内存开销。在Qwen2.5-7B-Instruct的自蒸馏微调实验中，Muon-RT表现出良好的性能与显存优势：相比AdamW优化器，其平均准确率提升2.6个百分点，常驻内存减少42%；相比传统带动量的Muon优化器，准确率提升5.4个百分点，常驻内存减少27%。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
研究者提出Muon-RT优化器，通过复用教师轨迹消除动量缓冲区，实现训练内存减少与准确率提升。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv 机器学习Muon-RT：复用教师轨迹实现无动量 Muon 的 LLM 自蒸馏
研究提出 Muon-RT，通过复用大语言模型自蒸馏中 EMA 教师与学生的位移，消除隐藏权重矩阵的动量缓冲区以降低训练内存。在 Qwen2.5-7B-Instruct 的自蒸馏微调中，Muon-RT 相比 AdamW 平均准确率提升 2.6 个百分点且常驻内存减少 42%，相比带动量的 Muon 准确率提升 5.4 个百分点且常驻内存减少 27%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。