跳到正文
热点事件持续更新

研究提出基于Chained LMO框架的大模型优化器TensorChain

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月9日,研究人员提出 chained LMO 框架以统一 Muon 衍生出的多矩阵归一化方法,并推出新型优化器 TensorChain。该优化器将跨层兼容的权重矩阵堆叠为 3D 张量,并沿各轴执行归一化。在千问(Qwen3)0.6B 与 1.7B 模型的预训练实验中,TensorChain 的平均 token 效率超越了所有链式基线,在匹配验证损失的情况下比 Muon 平均节省了 9.6% 的 token。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv 机器学习
    用 Chained LMO 优化大语言模型

    研究人员提出 chained LMO 框架以统一 Muon 衍生出的多矩阵归一化方法,并推出新型优化器 TensorChain。该优化器将跨层兼容的权重矩阵堆叠为 3D 张量并沿各轴执行归一化。在千问(Qwen3)0.6B 与 1.7B 预训练中,TensorChain 的平均 token 效率超越所有链式基线,在匹配验证损失下比 Muon 平均节省 9.6% token。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。