arXiv 人工智能· Tommaso Mencattini, Giorgos Nikolaou, Donato Crisostomi, Thomas Fel, Francesco Montagna, Emanuele Rodol\`a, Francesco Locatello·· 7 小时前AI 评分36
SAE 的独立性先验导致视觉概念碎片化
The Independence Prior of SAEs Fragments Visual Concepts
AI 导读
针对标准稀疏自编码器（SAE）因假设 patch 相互独立而导致视觉概念碎片化的问题，研究提出引入空间依赖的马尔可夫场线性表征假设（MFLRH）及 Spatial-SAE 模型。Spatial-SAE 在 4 种变体下于合成概念恢复任务中取得 96% 的平均胜率，并在 DINOv2 激活上显著提升了可解释性。
来源：arXiv 人工智能 · arxiv.org