arXiv 机器学习· Riteng Zhang, Xiaoqian Wang·· 7 小时前AI 评分43
重新审视 SAE 评测：原子可解释单元框架揭示隐藏的多义性与冗余
Rethinking SAE Evaluation: An Atomic Interpretable Unit Framework Reveals Hidden Polysemanticity and Redundancy
AI 导读
研究人员提出原子可解释单元评测范式并引入 DAME 等指标，对跨架构的数百个 SAE 展开了系统性评测。结果显示，部分在现有评测下看似单义的 SAE 仍存在功能性多义问题，对模型计算贡献最大的主导特征系统性地更难解释且更为冗余。该研究指出主导性感知评测应成为 SAE 应用于归因与回路追踪部署前的标准检查。
来源：arXiv 机器学习 · arxiv.org