arXiv 自然语言处理· David Yiyang Liu, Aditya Joshi, Paul Dawson, Andrew Piper·· 7 小时前AI 评分34
语言模型具备可解释的叙事机制
Language Models Have Interpretable Narrative Mechanisms
AI 导读
研究人员在 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中发现了激活程度与叙事性相关的注意力头、MLP 神经元及稀疏自编码器特征。消融这些选定的神经元和特征集会导致高叙事性文本的下一个 token 预测损失增幅更大，并降低开放式生成的叙事性。在下游评测中，该干预对故事续写和叙事问答的影响最为显著，而在虚构与模型幻觉基准上的结果好坏参半。
来源：arXiv 自然语言处理 · arxiv.org