研究者提出无动量优化器Muon-RT以降低训练内存
Start here
2026年11月，研究者在arXiv发布论文，提出名为Muon-RT的无动量优化器。该方法针对大语言模型自蒸馏场景，通过复用EMA教师模型与学生模型之间的位移，消除了隐藏权重矩阵的动量缓冲区，进而显著降低训练内存开销。在Qwen2.5-7B-Instruct的自蒸馏微调实验中，Muon-RT表现出良好的性能与显存优势：相比AdamW优化器，其平均准确率提升2.6个百分点，常驻内存减少42%；相比传统带动量的Muon优化器，准确率提升5.4个百分点，常驻内存减少27%。
AI-generated from reports · Updated 4 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 机器学习Muon-RT：复用教师轨迹实现无动量 Muon 的 LLM 自蒸馏
研究提出 Muon-RT，通过复用大语言模型自蒸馏中 EMA 教师与学生的位移，消除隐藏权重矩阵的动量缓冲区以降低训练内存。在 Qwen2.5-7B-Instruct 的自蒸馏微调中，Muon-RT 相比 AdamW 平均准确率提升 2.6 个百分点且常驻内存减少 42%，相比带动量的 Muon 准确率提升 5.4 个百分点且常驻内存减少 27%。
Story heat trend
Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.