研究在十亿参数尺度连接奇异学习理论与机理可解释性

1. 13:00
   arXiv 机器学习

   在 10 亿参数规模下连接奇异学习理论与机理可解释性

   研究人员在 10 亿参数模型 Pythia-1B 上建立了奇异学习理论（SLT）与机理可解释性（MI）的直接对应关系，证明二者均取决于组件参数到预测映射的导数。在 Dyck 括号匹配任务的全部 154 个检查点中，144 个组件的 Fisher 迹变化可追踪因果效应变化（中位数偏秩相关 0.51），且成对交互曲率能追踪联合消融交互。

Current heat 4·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours-51%

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.