研究揭示开源大模型串行任务下的注意力头活跃度分配机制

2026年9月30日，一项针对17个开源权重模型的研究揭示了大语言模型在多步串行任务下的注意力分配机制差异。研究表明，随着任务串行步骤增加，多数大语言模型在近中间层集中注意力头活跃度，并在后序层分散，但不同模型机制差异明显。其中，Qwen2.5系列在模型后半段倾向于集中活跃度，而Llama系列与OLMo-2则倾向于分散。消融实验进一步证实，活跃度越集中的模型越依赖关键头得出答案，且后训练会保留该模式。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。