arXiv 机器学习· Druv Pai, Dejan Stancevic, Yi Ma, Luca Ambrogioni·· 1 天前AI 评分41
生成式扩散模型训练的信息论 Scaling Law
Information-Theoretic Scaling Laws for Generative Diffusion Training
AI 导读
研究者针对扩散模型训练提出了信息论 Scaling Law，通过“模型信息”指标量化样本对训练集的依赖及模型扩展行为。该研究揭示了从纯记忆过渡到不完全泛化的非线性区间，以及线性缩放且样本质量持续提升的泛化区间。该规律导出的记忆与样本质量缩放表现具有良好域外外推性，相关代码已在 GitHub 开源。
来源：arXiv 机器学习 · arxiv.org