Muon 是否需要细粒度谱成形？

研究提出双波段谱重加权框架 BulkBoost，发现 Muon 优化器无需复杂的细粒度谱成形，仅通过单个主体增益即可捕获谱偏离带来的优化收益。在覆盖 Pythia-14M 至 410M 的 30 个持续预训练测试中，BulkBoost 双波段变体使最终损失降低 0.073%–0.147%，效果优于细粒度方法 Freon（0.022%）与 Spectra。