arXiv 自然语言处理· Aria Nourbakhsh, Adelaide Danilov, Oleksandr Marchenko Breneur, Salima Lamsiyah·· 10 小时前AI 评分34
从错误预测到因果影响：多项选择问答中的 SAE 特征审计
From Error Prediction to Causal Influence: Auditing SAE Features in Multiple-Choice QA
AI 导读
研究人员在 8 个数据集上利用 Gemma Scope SAE 审计 Gemma 3 1B 与 4B，探究 SAE 特征在多项选择问答中的因果影响。过滤格式等伪影后，因果干预选定特征能带来比随机特征更大的 margin 偏移和纠错率，但答案翻转依然罕见。结果表明，相关 SAE 特征主要反映上下文相关的选项竞争，而非导致错误答案的内部机制。
来源：arXiv 自然语言处理 · arxiv.org