跳到正文
原文
arXiv 机器学习· Shanbin Yu, Shaoyang Guo, Haoran Zhao, Danni Yu, Ziming Liu·· 3 小时前AI 评分46

Forking:数据回放下的突发过拟合现象

Forking: Sudden Overfitting Under Replay

AI 导读

研究发现带有 n-gram 记忆分支的模型在数据回放训练时,会在 epoch 边界出现训练与验证损失急剧分离的突发过拟合现象(Forking)。该现象在受控 NanoGPT 及带 Engram 的 DeepSeek 风格模型中均被复现,高重复 SFT 与类 RL 场景同样存在。这是由于重复更新抑制了未见延续序列的概率,也是 autoresearch 智能体探索技巧时的意外副产物。

来源:arXiv 机器学习 · arxiv.org