Transformer 中证据效应的因果定位

研究提出受控证据聚合（CEA）与因果选择方法 BUC，通过受控符号输入定位 Transformer 中影响决策的注意力头。在 Pythia-410M 上的实验显示，消融选出的 1-12 个注意力头可消除 65.5-91.6% 的计数效应。在自然语言任务中消融仅基于符号提示词选出的 8 个头导致平均准确率下降 8.2 个百分点，远高于随机集合的 0.8 个百分点。