ホットトピック継続更新中
研究者提出无动量优化器Muon-RT以降低训练内存
1 件の報道1 件の報道元3 時間前 更新
まずこの件を把握する
AI 概要
2026年11月，研究者在arXiv发布论文，提出名为Muon-RT的无动量优化器。该方法针对大语言模型自蒸馏场景，通过复用EMA教师模型与学生模型之间的位移，消除了隐藏权重矩阵的动量缓冲区，进而显著降低训练内存开销。在Qwen2.5-7B-Instruct的自蒸馏微调实验中，Muon-RT表现出良好的性能与显存优势：相比AdamW优化器，其平均准确率提升2.6个百分点，常驻内存减少42%；相比传统带动量的Muon优化器，准确率提升5.4个百分点，常驻内存减少27%。
AI が報道をもとに生成 · 3 時間前 更新
最新の進展11月2日 13:00
研究者提出Muon-RT优化器，通过复用教师轨迹消除动量缓冲区，实现训练内存减少与准确率提升。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月2日
- arXiv 机器学习Muon-RT：复用教师轨迹实现无动量 Muon 的 LLM 自蒸馏
研究提出 Muon-RT，通过复用大语言模型自蒸馏中 EMA 教师与学生的位移，消除隐藏权重矩阵的动量缓冲区以降低训练内存。在 Qwen2.5-7B-Instruct 的自蒸馏微调中，Muon-RT 相比 AdamW 平均准确率提升 2.6 个百分点且常驻内存减少 42%，相比带动量的 Muon 准确率提升 5.4 个百分点且常驻内存减少 27%。
このストーリーのホット度の推移
現在のホット度 9·比較可能範囲のピーク 10（11月2日 14:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。