arXiv 自然语言处理· Qing Yao, Sasha Boguraev, Tiago Pimentel, Kyle Mahowald·· 7 小时前AI 评分34
语言模型句法回路的涌现与稀疏化
The Emergence and Sparsification of a Syntactic Circuit
AI 导读
研究人员追踪了 pythia-1b 和 10 个种子的 pythia-410m 训练过程，揭示了语言模型主谓一致句法回路的演变规律。实验发现主谓一致行为虽在训练早期习得，但其机制在行为稳定后仍持续重组，介导一致性的注意力头会在训练中发生转移。此外回路随训练推进不断收缩，pythia-1b 的最终回路呈现出显著的稀疏化特征。
来源：arXiv 自然语言处理 · arxiv.org