热点事件持续更新
研究发现语言模型存在可解释叙事机制
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月12日发表于arXiv的研究显示,研究人员在GPT-2-Small、Gemma-2-2B和Llama-3.1-8B模型中,发现了激活程度与叙事性相关的注意力头、MLP神经元及稀疏自编码器特征。实验表明,消融这些特定的神经元和特征集会导致高叙事性文本的下一个token预测损失增幅更大,并降低开放式生成的叙事性。在下游任务评测中,该干预对故事续写和叙事问答的影响最为显著,但在虚构与模型幻觉基准上的表现结果好坏参半。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
研究发现多个语言模型中存在与叙事性相关的注意力头及神经元机制。报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv 自然语言处理语言模型具备可解释的叙事机制
研究人员在 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中发现了激活程度与叙事性相关的注意力头、MLP 神经元及稀疏自编码器特征。消融这些选定的神经元和特征集会导致高叙事性文本的下一个 token 预测损失增幅更大,并降低开放式生成的叙事性。在下游评测中,该干预对故事续写和叙事问答的影响最为显著,而在虚构与模型幻觉基准上的结果好坏参半。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。