句法注意力头是否会影响模型行为？

研究探讨了 Transformer 语言模型中专门处理句法关系的注意力头是否对其句法预测起因果作用，发现相关因果证据偏负面。即使干预强制这些注意力头关注主语之外的干扰名词，模型的句法预测依然更符合主语本身。针对专用句法头的干预效果虽显著强于随机注意力头，但该现象仅出现在提出的两项度量指标中的一项。