热点事件持续更新
研究提出超参数迁移与集成改进数据受限Scaling
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月30日，arXiv发表新研究，提出通过拟合幂律实现超参数迁移并结合模型集成的方法，旨在解决大语言模型在数据受限扩展（data-constrained scaling）中损失随算力增加反而上升的现象。实验在FineWeb的100M tokens数据训练中显示，该方法将验证损失降低超过0.15 nats，困惑度下降14%，实现了模型性能随算力增加的单调提升。研究中的相关规律由较小规模实验拟合得出，并在最高达12倍算力预算下完成了有效性验证。
AI 根据报道生成 · 1 小时前更新
最新进展10月30日 12:00
新研究通过拟合幂律超参数迁移与模型集成，解决了数据受限扩展中损失反升的问题。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv 机器学习通过超参数迁移与模型集成改进数据受限扩展
新研究提出通过拟合幂律实现超参数迁移并结合模型集成，以解决大语言模型在数据受限扩展中损失随算力增加反而上升的问题。在 FineWeb 的 100M tokens 训练中，该方法将验证损失降低超 0.15 nats，困惑度下降 14%，实现性能随算力单调提升。相关规律由较小规模实验拟合，并在最高 12x 算力预算下完成验证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。