arXiv 机器学习· Lucius Bushnaq, Dan Braun, Oliver Clive-Griffin, Bart Bussmann, Nathan Hu, Michael Ivanitskiy, Linda Linsefors, Lee Sharkey·· 9 小时前AI 评分43
对抗性参数分解（VPD）：解释语言模型参数的新方法
Interpreting Language Model Parameters
AI 导读
研究人员提出名为对抗性参数分解（VPD）的方法，通过将语言模型参数分解为简单子组件来解释其内部计算机制。该方法在经历对抗性消融的情况下仍能保留网络的输入输出行为，仅需一小部分子组件即可解释网络对特定输入的行为。研究通过分析这些参数子组件之间的交互序列，支持开展新型“电路”分析。
来源：arXiv 机器学习 · arxiv.org