arXiv 机器学习· Shanbin Yu, Shaoyang Guo, Haoran Zhao, Danni Yu, Ziming Liu·· 3 小时前AI 评分46
Forking:数据回放下的突发过拟合现象
Forking: Sudden Overfitting Under Replay
AI 导读
研究发现带有 n-gram 记忆分支的模型在数据回放训练时,会在 epoch 边界出现训练与验证损失急剧分离的突发过拟合现象(Forking)。该现象在受控 NanoGPT 及带 Engram 的 DeepSeek 风格模型中均被复现,高重复 SFT 与类 RL 场景同样存在。这是由于重复更新抑制了未见延续序列的概率,也是 autoresearch 智能体探索技巧时的意外副产物。
来源:arXiv 机器学习 · arxiv.org