热点事件持续更新
研究提出长上下文持续预训练缩放定律
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月22日，研究人员在 arXiv 发布关于长上下文持续预训练（LCCP）的经验缩放定律研究。该研究提出了 LCCP 的经验加性幂律，证实增加 LCCP 的 token 预算能持续提升性能，且目前未见明显饱和。研究团队同时提出了 Constant-Last4 观察协议，成功预测了 1.22B 参数模型在约 100B LCCP token 规模下的训练轨迹。实验进一步表明，相关性能收益在扩展至 128K 上下文及经历监督微调后依然得以保持，并能有效迁移至长上下文理解与智能体任务中。
AI 根据报道生成 · 1 小时前更新
最新进展10月22日 12:00
研究提出 LCCP 加性幂律与预测协议，证实增加 token 预算能持续带来长上下文收益。报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- arXiv 自然语言处理别过早停止长上下文持续预训练：一项经验缩放定律研究
研究人员提出了长上下文持续预训练（LCCP）的经验加性幂律，证实增加 LCCP 的 token 预算能持续提升性能且未见明显饱和。该研究提出 Constant-Last4 观察协议，成功预测了 1.22B 参数模型在约 100B LCCP token 下的训练轨迹。其实验表明收益在 128K 上下文扩展和监督微调后依然保持，并有效迁移至长上下文理解与智能体任务。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。