为什么 OpenAI 的 GPT-2 权重表现优于自训模型？第五部分：数据质量

作者探究了自训 163M 模型在指令微调与测试损失上为何落后于仅 124M 的官方 OpenAI GPT-2 small 权重。在 Alpaca 微调和 GPT 5.5 评测中，GPT-2 small 获得 26.00 分并领先多数自训模型。本篇重点对比 OpenAI 的 WebText 与 FineWeb 数据集，探究训练数据质量对性能差距的影响。