arXiv 机器学习· Sankaran Vaidyanathan, Rafal Urbaniak, Emily Bunnapradist, Michelangelo Naim, Daniel Waxman·· 3 小时前AI 评分39
Slaying the Hydra：语言模型中感知交互的回路发现
Slaying the Hydra: Interaction-Aware Circuit Discovery in Language Models
AI 导读
研究团队提出因果估算族 WISE 与基于梯度的回路发现方法 JuntaLearner，以解决大语言模型中组件相互作用导致的回路定位与排序难题。JuntaLearner 结合电路识别分数（CRS）等指标评估因果影响，在跨任务和不同规模模型上的平均 CRS 均优于归因基线。其计算成本不随候选组件数量增长，可有效扩展至大模型并捕捉集合级交互。
来源：arXiv 机器学习 · arxiv.org