arXiv 机器学习· Aryan Das, Vinay Kumar Verma, Aakansha Mishra·· 5 時間前AI スコア39
Muon-RT：复用教师轨迹实现无动量 Muon 的 LLM 自蒸馏
MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
未翻訳のため中国語で表示しています。
AI ガイド
研究提出 Muon-RT，通过复用大语言模型自蒸馏中 EMA 教师与学生的位移，消除隐藏权重矩阵的动量缓冲区以降低训练内存。在 Qwen2.5-7B-Instruct 的自蒸馏微调中，Muon-RT 相比 AdamW 平均准确率提升 2.6 个百分点且常驻内存减少 42%，相比带动量的 Muon 准确率提升 5.4 个百分点且常驻内存减少 27%。
出典：arXiv 机器学习 · arxiv.org