arXiv 机器学习· Ethan Baron, Shmuel Berman, Anirudh Satheesh, Akshay Vegesna, Samip Dahal, Andrew Gordon Wilson·· 6 小时前AI 评分35
通过超参数迁移与模型集成改进数据受限扩展
Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling
AI 导读
新研究提出通过拟合幂律实现超参数迁移并结合模型集成，以解决大语言模型在数据受限扩展中损失随算力增加反而上升的问题。在 FineWeb 的 100M tokens 训练中，该方法将验证损失降低超 0.15 nats，困惑度下降 14%，实现性能随算力单调提升。相关规律由较小规模实验拟合，并在最高 12x 算力预算下完成验证。
来源：arXiv 机器学习 · arxiv.org