研究揭示模型可解释性中子空间干预的目标膨胀效应
Start here
2026年11月4日，arXiv发布的研究显示，在大语言模型激活修补中，学习子空间产生的干预效果之所以超过完整状态，主要源于优化目标的虚增，而非更纯净地隔离了概念。理论证明表明，正交部分的效果累加等于整体效果。研究指出，采用交叉熵的分布式对齐搜索（DAS）在几乎所有任务上均会虚增干预效果；若将优化目标改为匹配网络实际输出，则可消除大部分超额效应。该研究表明，仅凭更大的干预变化并不能作为承载概念的更强证据。
AI-generated from reports · Updated 6 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理到底是谁的效果？优化目标如何虚增学习子空间干预效果
研究证明在大语言模型激活修补中，学习子空间产生的干预效果超过完整状态，主要源于优化目标的虚增而非更纯净地隔离了概念。理论证明正交部分效果累加等于整体，采用交叉熵的分布式对齐搜索（Distributed alignment search）在几乎所有任务上均会虚增干预效果。将优化目标改为匹配网络实际输出即可消除大部分超额效应，表明仅凭更大的干预变化并不能作为承载概念的更强证据。
Story heat trend
Current heat 8·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.