arXiv 机器学习· Jialin Zhu, Xing Liu, Feixiang He, He Wang·· 4 小时前AI 评分33
多带宽分布匹配蒸馏：论分布匹配蒸馏与漂移模型的等价性
Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models
AI 导读
新研究证明，将预训练扩散与流生成模型（DFSGMs）的速度场或噪声场转化为漂移模型中的吸引力场并估计排斥力场时，训练漂移模型在本质上等价于分布匹配蒸馏（DMD/DMD2）。基于该等价性概念，作者进一步从漂移模型视角提出了 DMD 的改进方法——多带宽分布匹配蒸馏（MBDMD）。
来源：arXiv 机器学习 · arxiv.org