arXiv 机器学习· Juli Huang·· 5 小时前AI 评分36
注意力头消融何时能支持因果推断？投影层混杂、地板效应与匹配对照
When Do Attention-Head Ablations Support Causal Claims? Projection-Level Confounds, Floor Effects, and Matched Controls
AI 导读
一项基于 GPT-2 small 的研究表明，注意力头消融若未严格校准干预语义、评估指标与对照组，其因果推断结论极易失真。实验显示投影后置消融与修正后的前置消融相关性极低（Pearson r = 0.057），而修正后的排序在 1,000 次匹配对照中高度稳定（Spearman rho = 0.974）。相关结论在 DistilGPT2 上得到复现。
来源：arXiv 机器学习 · arxiv.org