arXiv 自然语言处理· C\'elian Vasson, Daniil Ognev, Kentaro Inui, Benjamin Heinzerling·· 6 小时前AI 评分33
语言模型是否理解变量的作用？通过变量角色解释代码表征
Do LMs Know What Variables Do? Interpreting Code Representations via Variable Roles
AI 导读
一项新研究基于 Sajaniemi 的 11 种变量角色分类，构建了涵盖 5 种语言、126,926 个代码文件的数据集，以评估语言模型及稀疏自编码器（SAE）对变量行为的表征与控制能力。在 5 个模型-SAE 系统中，残差探测效果优于单个 SAE 特征，组合特征可大幅缩小单特征差距。但在生成干预中，改变角色标注往往以牺牲正确性为代价，通过测试的修改相对随机对照未体现出明确优势。
来源：arXiv 自然语言处理 · arxiv.org