arXiv 机器学习· Sambit Ghosh, Madelyn Mathai, R. Venkatesh Babu, Chirag Agarwal·· 7 小时前AI 评分36
稀疏自编码器的数据收益递减：功能收敛无法保证特征可复现性
Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility
AI 导读
研究人员通过在 3 个语言模型上训练 4 种稀疏自编码器（SAE）架构，测试了 5M tokens 到 500M-token 基准的数据预算需求。评估显示重构等功能指标在更小预算下即可接近全数据基准，但特征可复现性仍随数据增加而提升，如 Gemma-2-2B BatchTopK 的严格匹配特征比例从 5M tokens 的 2% 增至 50M 的 29%。
来源：arXiv 机器学习 · arxiv.org