arXiv 自然语言处理· Chenhang Cui, Jian Yu, Shuyi Miao, Xiaohao Liu, Rui Huang, Fei Shen, An Zhang, Tat-Seng Chua·· 5 小时前AI 评分40
DV-Lens：揭示语言模型参数的功能组织
DV-Lens: Revealing the Functional Organization of Language Model Parameters
AI 导读
研究提出参数级可解释性框架 DV-Lens，通过将注意力与 FFN 原生参数方向映射至下游词表空间来解析参数功能。在 9 个模型的 720 个案例中，该方法预测局部 logit 变化的方向一致性达 98.0%，并成功指导了 21 个模型的参数干预实验。此外，基于该框架提出的 DV-Complexity 指标在 48 个模型上与能力基准排名的 Spearman 相关性达 0.904。
来源：arXiv 自然语言处理 · arxiv.org