arXiv 自然语言处理· Minming Ye, Min Liu, Haoang Chi, Ciheng Wu, Naiyang Guan·· 10 小时前AI 评分35
从观测到干预：通过可执行因果干预蒸馏自生成上下文演示
From Observation to Intervention: Distilling Self-Generated In-Context Demonstrations via Executable Causal Intervention
AI 导读
研究者提出了用于演示蒸馏的可执行因果干预框架 ECI2D，以解决大语言模型自生成上下文学习中因观测等价导致的伪理由过滤难题。该方法将语言理由抽象为可执行程序，并在逻辑相似样本上执行因果干预，仅保留具备迁移不变性的演示。在数学、逻辑与常识推理基准上的实验表明，ECI2D 保留更少演示且性能优于基于观测的方法，在测试分布偏移时提升超过 7 个百分点。
来源：arXiv 自然语言处理 · arxiv.org