arXiv 机器学习· Jingda Wu, Changxiao Cai·· 8 小时前AI 评分33
基于 Transformer 的掩码扩散模型被证明可学习具潜在结构的分辨分布
Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
AI 导读
研究人员为基于 Transformer 的掩码扩散模型（MDM）建立了端到端统计保证，证明其能够学习具备潜在结构的数据分布。当数据分布可用隐马尔可夫树混合模型近似时，采用并行去掩码策略的 MDM 仅需 $\widetilde{O}(LK_{\mathrm{par}}/\varepsilon)$ 个训练样本即可在 KL 散度下实现 $\varepsilon$ 精度采样。
来源：arXiv 机器学习 · arxiv.org