arXiv 机器学习· Junha Park, Jaemyung Yu, Jaehui Hwang, Jong-Seok Lee, Dongyoon Han·· 3 小时前AI 评分37
通过残差门控理解 Diffusion Transformer 训练加速机制
No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates
AI 导读
新研究发现 Diffusion Transformer 的训练加速核心源于 AdaLN-Zero 残差门控通路的重组。研究引入归一化参与率（nPR）量化通道分布，证明更广的门控参与度对应更高生成质量，并据此提出一种无需教师模型的特征范数正则化目标。在 ImageNet 256×256 及 SiT-B/2 实验中，该方法有效提升了门控参与度并在 FID 指标上超越色散损失。
来源：arXiv 机器学习 · arxiv.org