arXiv 自然语言处理· Xupeng Chen·· 9 小时前AI 评分47
无需阅读解释即可评分：自动化可解释性评估数据中的结构性捷径
Scoring Explanations Without Reading Them: Structural Shortcuts in Automated-Interpretability Evaluation Data
AI 导读
研究发现自动化可解释性评估数据存在结构性捷径，无需阅读解释文本即可通过位置等线索取得高分。在 Neuronpedia 的 500 个 GPT-2 small 特征测试中，仅判断中心 token 的规则平衡准确率达 0.979，高于 LLM 打分器的 0.838；在 OpenAI 仿真基准中预测前 5 个序列的规则相关性达 0.227，亦超过 GPT-4 模拟器的 0.160。
来源：arXiv 自然语言处理 · arxiv.org