arXiv 人工智能· Stepan Shabalin, Mateusz Piotrowski·· 5 小时前AI 评分37
对比稀疏化 MLP 与 Transcoder:许多 Transcoder 特征只是伪装的神经元
Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise
AI 导读
研究发现 13 个开源 Transcoder 后期层中相当比例的活跃特征其实是与单个 MLP 神经元权重强对齐的神经元特征。在测试中,仅有这类神经元特征在底层 MLP 中具备稳定的对应关系,其他特征在不同训练轮次间波动更大,且无法匹配 MLP 的雅可比矩阵。该结论重塑了 MLP 神经元在模型可解释性中的基石地位。
来源:arXiv 人工智能 · arxiv.org