跳到正文
热点事件持续更新

研究发现语言模型存在可解释叙事机制

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月12日发表于arXiv的研究显示,研究人员在GPT-2-Small、Gemma-2-2B和Llama-3.1-8B模型中,发现了激活程度与叙事性相关的注意力头、MLP神经元及稀疏自编码器特征。实验表明,消融这些特定的神经元和特征集会导致高叙事性文本的下一个token预测损失增幅更大,并降低开放式生成的叙事性。在下游任务评测中,该干预对故事续写和叙事问答的影响最为显著,但在虚构与模型幻觉基准上的表现结果好坏参半。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv 自然语言处理
    语言模型具备可解释的叙事机制

    研究人员在 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中发现了激活程度与叙事性相关的注意力头、MLP 神经元及稀疏自编码器特征。消融这些选定的神经元和特征集会导致高叙事性文本的下一个 token 预测损失增幅更大,并降低开放式生成的叙事性。在下游评测中,该干预对故事续写和叙事问答的影响最为显著,而在虚构与模型幻觉基准上的结果好坏参半。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。