arXiv 自然语言处理· Zilu Tang, Jongin Kim, Kerem Sahin, David Atkinson, Aaron Mueller, Derry Wijaya·· 9 小时前AI 评分41
干预训练可减少语言模型上下文内省中的因果旁路
Interventional Training Reduces Causal Bypass in In-Context Introspection
AI 导读
针对 SFT 易引发因果旁路（causal bypass）的问题，研究提出干预训练（interventional training），通过训练语言模型报告反事实扰动值来实现可靠的上下文内省。实验在 3 种低层信号和 8 个大语言模型上训练了数百个内省器，证实该方法能显著提高对内生与注入信号的自报告准确度，在分布外数据上尤为明显。该机制还可跨 token 位置泛化，并随数据量增加而扩展。
来源：arXiv 自然语言处理 · arxiv.org