arXiv 机器学习· Ethan Ji, Wei Wang, Yizhou Sun·· 1 天前AI 评分37
在 10 亿参数规模下连接奇异学习理论与机理可解释性
Bridging Singular Learning Theory and Mechanistic Interpretability at the Billion-Parameter Scale
AI 导读
研究人员在 10 亿参数模型 Pythia-1B 上建立了奇异学习理论（SLT）与机理可解释性（MI）的直接对应关系，证明二者均取决于组件参数到预测映射的导数。在 Dyck 括号匹配任务的全部 154 个检查点中，144 个组件的 Fisher 迹变化可追踪因果效应变化（中位数偏秩相关 0.51），且成对交互曲率能追踪联合消融交互。
来源：arXiv 机器学习 · arxiv.org