arXiv 自然语言处理· Hare Krishna·· 8 小时前AI 评分30
预测掩码文本重构中的语料采样分歧
Forecasting Corpus-Sampling Disagreement in Masked Text Reconstruction
AI 导读
研究人员针对掩码文本重构任务，推导出一种基于平滑预测器的一阶公式，用于预测在两个独立同分布语料库上训练的模型输出分歧。在 TinyStories、WikiText-103 和 CNN/DailyMail 上的实验显示，将语料从 512 块 64 token 增至 2,048 块仅使分歧减少 5%–40%，远低于 1/n 标度规律预期的 75%。
来源：arXiv 自然语言处理 · arxiv.org