arXiv 机器学习· Kai Hu, Li Zhang, Weichen Yu, Matt Fredrikson, Haoqi Hu·· 2 日前AI スコア40
正交约束能否在球面优化之外提升语言模型训练？
Do Orthogonality Constraints Help Language-Model Training Beyond Sphere Optimization?
未翻訳のため中国語で表示しています。
AI ガイド
一项基于 360M 至 3.1B 参数 LLM 及近 200B tokens 训练的研究表明，行间正交约束在球面优化之外无法提升预训练性能。在测试的 14 种变体中，每行单位球面优化已优于调优后的 Muon，进一步引入行正交不仅无额外增益且大分块更差；既往 5 项研究报告的提升实由数值精度或行范数控制等因素导致。
出典：arXiv 机器学习 · arxiv.org