正交约束能否在球面优化之外提升语言模型训练？

一项基于 360M 至 3.1B 参数 LLM 及近 200B tokens 训练的研究表明，行间正交约束在球面优化之外无法提升预训练性能。在测试的 14 种变体中，每行单位球面优化已优于调优后的 Muon，进一步引入行正交不仅无额外增益且大分块更差；既往 5 项研究报告的提升实由数值精度或行范数控制等因素导致。