研究揭示大语言模型数值偏好因果机制
Start here
2026年11月5日，arXiv发表的一项研究利用数字选择任务，对大语言模型跨层与跨token的偏好处理机制展开了因果分析。研究以千问（Qwen3-4B）模型为对象进行实验，结果显示生成前的激活干预可将模型输出从17改变为15，并通过替换注意力和缓存追踪了干预对第二位数字生成的持续影响。此外，研究发现固定后续MLP输出能使干预效应差距从0.119缩小至0.0025 nat，这表明后续计算会进一步改变局部贡献对模型最终生成结果的作用。
AI-generated from reports · Updated 7 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理当每个选项都正确：大语言模型数字偏好的因果研究
一项研究利用数字选择任务，对大语言模型跨层与跨 token 的偏好处理机制开展因果分析。在千问（Qwen3-4B）实验中，生成前激活干预将模型输出从 17 变为 15，并通过替换注意力和缓存追踪了对第二位数字的持续影响。研究发现固定后续 MLP 输出可使干预效应差距从 0.119 缩小至 0.0025 nat，表明后续计算会改变局部贡献对最终生成的作用。
Story heat trend
Current heat 8·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.