扩散模型中的去噪得分匹配：秩约束对泛化能力的影响研究

该研究探讨了带线性跳跃连接和低秩非线性项的得分网络在去噪得分匹配中的泛化表现。在嵌入球体数据上的三层网络实验表明，增加秩会降低训练误差，但对测试误差的影响取决于样本量和数据维度。基于低维子空间高斯数据与随机特征模型的渐近理论分析，研究给出了最优截断奇异值分解估计器，并揭示了数据正交补空间维度构成的天然秩阈值。