Jacobian Lens 的数学理论

研究人员针对 Anthropic 提出的可解释性工具 Jacobian lens（J-lens）建立了数学理论，表明其优先识别跨层放大、跨 token 位置稳定且跨上下文一致的相干特征。该分析在预测隐马尔可夫模型 token 的贝叶斯滤波器与 toy Transformer 上完成了验证。此外，研究还提出了用于强调 LLM 不同信息处理时间尺度的 $\omega$-J-lenses。