arXiv 机器学习· Harsh Kumar, Tanmay Shailesh Joshi, Rahul Maity, Anusa Saha·· 1 天前AI 评分34
代码大模型中的因果语法回路:预算与探针决定行为是否表现出局域性
Causal Syntax Circuits in CodeLMs: Budget and Probe Decide What Looks Localised
AI 导读
研究人员通过因果分析流水线测试了 10 款开源代码大模型对 Python 的默认偏好机制,发现该偏好随模型增大而增强,且指令微调检查点比基础版本平均高出 12%。偏好是否表现为局域回路高度取决于组件搜索预算与探针选择:预算设为 12 时仅 1/15 设置提取出显著回路,预算放宽至 40 时则升至 6/15。干预实验中激活引导在 9/45 设置下成功改变了最高概率的下一个 token。
来源:arXiv 机器学习 · arxiv.org