研究揭示Transformer上下文学习的神经环路机制

1. 13:00
   arXiv 自然语言处理

   上下文学习的回路机制解析

   研究人员解析了 Transformer 上下文学习（ICL）的底层回路机制，证实模型在单次前向传播中通过门控关联查找与键值内存完成小样本分类。在 3-4B 参数模型中，中间层注意力头将演示类别写入标签位置作为键，上层头匹配查询并读取标签，该链路经激活修补等方法因果证实。该机制在 0.6B 至 8B 参数模型中普遍存在，且经历指令微调后依然保留。

Current heat 5·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.