新研究揭示Diffusion Transformer加速机制并提出正则化方法

1. 13:00
   arXiv 机器学习

   通过残差门控理解 Diffusion Transformer 训练加速机制

   新研究发现 Diffusion Transformer 的训练加速核心源于 AdaLN-Zero 残差门控通路的重组。研究引入归一化参与率（nPR）量化通道分布，证明更广的门控参与度对应更高生成质量，并据此提出一种无需教师模型的特征范数正则化目标。在 ImageNet 256×256 及 SiT-B/2 实验中，该方法有效提升了门控参与度并在 FID 指标上超越色散损失。

Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.