arXiv 机器学习· Karl Li·· 10 小时前AI 评分34
稀疏自编码器（SAE）归因图由边界裕度决定
Sparse Autoencoder Attribution Graphs Are Decided at the Margin
AI 导读
研究发现稀疏自编码器（SAE）的特征归因图主要由边界裕度决定，在 Pythia 模型的 TopK SAE 上将单特征置零有 0.74 以上的概率导致下层特征跨越截断阈值。相较于传统基于预先激活特征构建的图存在 0.247 以上的中位相对误差，将一阶变化计入预激活并重新排序的边界图在相同计算成本下将误差降至 0.033 以内。
来源：arXiv 机器学习 · arxiv.org