研究揭示大模型预训练反嵌入机制与表达滞后

最新发布于 arXiv 的研究揭示了大语言模型预训练中的反嵌入层（unembedding）动态机制。研究发现，模型的隐藏状态在反嵌入层能够表达之前就已编码了任务信息，因此直接根据输出 token 判断能力习得时间会产生滞后偏差。为此，研究团队提出了一种仅依赖 checkpoint 权重的参数轨迹跨编码方法，并在 Pythia 预训练 0.4% 至 1.1% 的早期阶段精确定位到了反嵌入层的重组过程。同时，实验证实通过提高反嵌入层的学习率，可在几乎不影响最终 loss 的前提下，加速弥合隐藏状态与输出层之间的表达差距。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。