大语言模型预训练中的反嵌入动态机制研究

最新研究发现，大语言模型的隐藏状态在反嵌入层（unembedding）能够表达之前就已编码了任务信息，直接根据输出 token 判断能力习得时间存在滞后偏差。研究团队提出仅依赖 checkpoint 权重的参数轨迹跨编码方法，在 Pythia 预训练 0.4-1.1% 的早期阶段定位到反嵌入层重组，并证实提高该层学习率可在几乎不影响最终 loss 的前提下加速弥合这一表达差距。