上下文学习的回路机制解析

研究人员解析了 Transformer 上下文学习（ICL）的底层回路机制，证实模型在单次前向传播中通过门控关联查找与键值内存完成小样本分类。在 3-4B 参数模型中，中间层注意力头将演示类别写入标签位置作为键，上层头匹配查询并读取标签，该链路经激活修补等方法因果证实。该机制在 0.6B 至 8B 参数模型中普遍存在，且经历指令微调后依然保留。