面向合成数据重写的算力与数据约束缩放定律研究

研究提出了一种面向合成重写数据的重写缩放定律，将生成重写文本所耗费的算力计入总预算，可准确预测模型在不同重写数据配比下的训练损失。在算力受限设定下，最优重写数据占比随总算力从低于 10% 提升至 32%，外推训练的 22B 模型在多个网页领域以十分之一算力超越了重写器本身。在数据受限设定下，利用同尺寸模型重写种子数据进行预训练，在 3B 参数量以内所有规模上均优于仅使用自然数据的训练表现。