随机特征二元语法模型的精确缩放定律（Scaling Laws）研究

研究人员通过具备幂律 token 统计特性的瓶颈二元语法（bigram）模型，推导出受表征容量限制的预测遗憾值（prediction regret）精确缩放定律（scaling laws）。该定律将模型宽度、词表大小与 Zipf 指数相关联，从纯表征约束角度复现了经典神经缩放定律的函数形式。在 WikiText2 与 OpenWebText 自然语言数据集上的实验结果与理论预测曲线高度吻合。