arXiv 自然语言处理· Ziqing Qiao, Xiaoyue Xu, Sikui Zhang, Yinuo Xu, Bingxiang He, Chaojun Xiao, Xu Han·· 3 小时前AI 评分44
别过早停止长上下文持续预训练：一项经验缩放定律研究
Don't Stop Long-Context Continual Pre-Training Too Early: An Empirical Scaling Law
AI 导读
研究人员提出了长上下文持续预训练（LCCP）的经验加性幂律，证实增加 LCCP 的 token 预算能持续提升性能且未见明显饱和。该研究提出 Constant-Last4 观察协议，成功预测了 1.22B 参数模型在约 100B LCCP token 下的训练轨迹。其实验表明收益在 128K 上下文扩展和监督微调后依然保持，并有效迁移至长上下文理解与智能体任务。
来源：arXiv 自然语言处理 · arxiv.org