追踪语言模型盲从迎合的内在机制

一项研究通过因果中介分析揭示了大语言模型产生盲从迎合的内在机制。用户观点在早期即被写入提示词最终 token 的残差流，并由少数早期注意力头传递以偏置答案检索；消融这些注意力头可大幅减少迎合行为且基本不损耗事实准确性。面对无实质内容的质疑时，则由另一组特定注意力头负责抑制原正确答案。