arXiv 机器学习· Fujie Gao, Zuyue Zhang, Gang Sun·· 7 小时前AI 评分34
遗忘下的学习：随机训练动力学中的统计支持选择性保留
Learning Under Forgetting: Statistical Support-Selective Retention in Stochastic Training Dynamics
AI 导读
研究者提出带有持续遗忘的重复强化（RPF）动力学框架，将遗忘作为一种选择机制，通过重复曝光强化高频模式并持续衰减弱信息。该理论推导出支持度保留边界与协方差谱滤波特性，可在训练中诱导类似最小描述长度（MDL）的信息压缩权衡。标量记忆与非线性共享网络实验证实，重复强化与持续遗忘共同提供了超越网络架构与规模的可控归纳偏置。
来源：arXiv 机器学习 · arxiv.org