研究提出基于边界裕度的稀疏自编码器归因图方法

1. 13:00
   arXiv 机器学习

   稀疏自编码器（SAE）归因图由边界裕度决定

   研究发现稀疏自编码器（SAE）的特征归因图主要由边界裕度决定，在 Pythia 模型的 TopK SAE 上将单特征置零有 0.74 以上的概率导致下层特征跨越截断阈值。相较于传统基于预先激活特征构建的图存在 0.247 以上的中位相对误差，将一阶变化计入预激活并重新排序的边界图在相同计算成本下将误差降至 0.033 以内。

Current heat 4·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours-50%

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.