arXiv 机器学习· Chuyu Hu, Huanran Chen, Shitong Shao, Yinpeng Dong·· 5 小时前AI 评分38
研究指出大型扩散模型训练仅靠 EMA 并不足够
Large Diffusion Models Need More Than EMA
AI 导读
研究发现常数学习率配合 EMA 训练大型扩散模型存在优化局限，而 Schedule-Free 优化能持续超越常数学习率 EMA 基线，取得更低的评估目标值与更优的生成质量。学习率衰减虽与 EMA 互补，但收益对衰减起始时机敏感；Schedule-Free 则在大幅降低参数波动性的同时保留了后期持续优化的能力。该方法的增益还能从预训练延伸至 ReFL 和生成器侧 DMD 场景。
来源：arXiv 机器学习 · arxiv.org