arXiv 自然语言处理· Hongnian Huang, Hongliang Liu·· 7 小时前AI 评分33
当每个选项都正确：大语言模型数字偏好的因果研究
When Every Choice Is Correct: A Causal Study of Numerical Preference in Language Models
AI 导读
一项研究利用数字选择任务，对大语言模型跨层与跨 token 的偏好处理机制开展因果分析。在千问（Qwen3-4B）实验中，生成前激活干预将模型输出从 17 变为 15，并通过替换注意力和缓存追踪了对第二位数字的持续影响。研究发现固定后续 MLP 输出可使干预效应差距从 0.119 缩小至 0.0025 nat，表明后续计算会改变局部贡献对最终生成的作用。
来源：arXiv 自然语言处理 · arxiv.org