跳到正文
热点事件持续更新

研究团队提出合成数据重写缩放定律

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

2026年10月,arXiv机器学习领域发表的一项研究提出了面向合成重写数据的重写缩放定律。该研究将生成重写文本所耗费的算力计入总预算,能够准确预测模型在不同重写数据配比下的训练损失。实验显示,在算力受限设定下,最优重写数据占比随总算力增长从低于10%提升至32%,基于该定律外推训练的22B模型在多个网页领域以十分之一算力超越了重写器本身;而在数据受限设定下,利用同尺寸模型重写种子数据进行预训练,在3B参数量以内的所有规模上表现均优于仅使用自然数据的训练。

AI 根据报道生成 · 6 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv 机器学习
    面向合成数据重写的算力与数据约束缩放定律研究

    研究提出了一种面向合成重写数据的重写缩放定律,将生成重写文本所耗费的算力计入总预算,可准确预测模型在不同重写数据配比下的训练损失。在算力受限设定下,最优重写数据占比随总算力从低于 10% 提升至 32%,外推训练的 22B 模型在多个网页领域以十分之一算力超越了重写器本身。在数据受限设定下,利用同尺寸模型重写种子数据进行预训练,在 3B 参数量以内所有规模上均优于仅使用自然数据的训练表现。

本事件热度走势

当前热度 9·可比范围峰值 10(10月26日 13:00)·近 24 小时可比范围变化 –

02.557.51010月26日13:0010月26日14:0010月26日16:0010月26日17:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。