扩散模型中置信度机制的局限性

离散扩散模型基于置信度采样在每步写入多个 token 时，因无法满足条件独立性要求而难以精确匹配训练分布。研究证明，独立的位置边际分布乘积无法拟合具有内在依赖关系的 token 组。在合成任务 ScanAndAdd 的验证中，置信度排序写入的多位置组均存在依赖，导致生成分布的总变差达到采样噪声底的 29x，而单样本指标仍显示为 1.0。