arXiv 自然语言处理· Xinyu Guo, Minglai Yang, Clayton T. Morrison, Eduardo Blanco, Mihai Surdeanu·· 6 小时前AI 评分37
TaxoSAE：从分类逻辑重新审视稀疏自编码器
TaxoSAE: Rethinking Sparse Autoencoders through Taxonomic Logic
AI 导读
研究人员提出 TaxoSAE，将上下位分类信息显式编码至大语言模型稀疏自编码器（SAE）特征空间，实现一致的知识读取与精确控制。TaxoSAE 按层级堆叠 SAE 并引入对齐损失，概念交换成功率提升 25.5 分，抑制目标概念时其准确率降至 0-2% 且其余概念维持 91-100%。此外，未见概念的上位词读取准确率最高提升 37.9 分。
来源：arXiv 自然语言处理 · arxiv.org