空间归纳头：多维元胞自动机的上下文学习

研究团队提出空间归纳头（Spatial Induction Heads）机制，通过两层 gather-and-match 电路解释 Transformer 如何在扁平化的多维元胞自动机序列中实现上下文学习。第一层负责重建局部空间邻域，第二层匹配历史构型以逼近贝叶斯后验。实验显示两层 Transformer 能泛化至未见规则，在随机规则下与贝叶斯最优预测器的 KL 散度小于 0.005 nats。