热点事件持续更新
研究提出基于Chained LMO框架的大模型优化器TensorChain
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月9日,研究人员提出 chained LMO 框架以统一 Muon 衍生出的多矩阵归一化方法,并推出新型优化器 TensorChain。该优化器将跨层兼容的权重矩阵堆叠为 3D 张量,并沿各轴执行归一化。在千问(Qwen3)0.6B 与 1.7B 模型的预训练实验中,TensorChain 的平均 token 效率超越了所有链式基线,在匹配验证损失的情况下比 Muon 平均节省了 9.6% 的 token。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 12:00
研究提出新型优化器 TensorChain,在 Qwen3 预训练中比 Muon 平均节省 9.6% token。报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- arXiv 机器学习用 Chained LMO 优化大语言模型
研究人员提出 chained LMO 框架以统一 Muon 衍生出的多矩阵归一化方法,并推出新型优化器 TensorChain。该优化器将跨层兼容的权重矩阵堆叠为 3D 张量并沿各轴执行归一化。在千问(Qwen3)0.6B 与 1.7B 预训练中,TensorChain 的平均 token 效率超越所有链式基线,在匹配验证损失下比 Muon 平均节省 9.6% token。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。