论文揭示正交约束未能在球面优化外提升LLM预训练

1. 13:00
   arXiv 机器学习

   正交约束能否在球面优化之外提升语言模型训练？

   一项基于 360M 至 3.1B 参数 LLM 及近 200B tokens 训练的研究表明，行间正交约束在球面优化之外无法提升预训练性能。在测试的 14 种变体中，每行单位球面优化已优于调优后的 Muon，进一步引入行正交不仅无额外增益且大分块更差；既往 5 项研究报告的提升实由数值精度或行范数控制等因素导致。

Current heat 5·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.