实测检验 Transformer 理论

新研究梳理了 Star-free、C-RASP 等 7 种 Transformer 能力理论，并通过对照实验检验其在样本复杂度与长度泛化上的预测。结果表明没有单一理论能解释实际成败模式，现有理论因忽略内容相关注意力或假设硬注意力而在 k-hop 归纳等任务上预测失效。研究指出，完备的理论必须涵盖软注意力、动态内容检索及位置有界计算等特征。