arXiv 机器学习· Shashank Sule, Xinyue Yu, Boonam Shin, Yuxuan Liu, Abolfazl Hashemi, Hayden Schaeffer·· 8 小时前AI 评分35
损失曲率作为扩散模型记忆特性的免采样度量指标
Loss Curvature as a Sampling-Free Proxy for Memorization in Diffusion Models
AI 导读
研究人员提出将输入损失曲率（即扩散模型训练损失的 Hessian 矩阵的 Frobenius 范数）作为免采样指标，用于量化扩散模型对训练数据的记忆特性。在训练过程中跟踪训练与验证样本的平均输入曲率，可识别模型开始复现训练数据的时机。此外，研究还引入了扩散模型的反事实记忆定义，证明留一法模型的输入曲率直接控制该反事实记忆，建立了局部损失曲面与生成概率之间的理论关联。
来源：arXiv 机器学习 · arxiv.org