Transformer 架构的渐近行为研究

研究表明 Transformer 在长时间生成文本时可能无法收敛，即使是三 token、单层的纯注意力 Transformer 也会出现该现象。针对包含任意有限深度、层归一化、MLP、RoPE 编码及混合层的 Transformer，每个模型均存在一个 softmax 温度阈值，高于该阈值时经验缓存分布会收敛至独立于初始条件的唯极限。