扩展注意力：基于泰勒级数实现固定循环状态数的线性时间 Transformer

研究人员通过将注意力指数核展开为截断泰勒级数，将因果历史压缩为与上下文长度无关的固定数量循环状态，实现线性时间复杂度。该方法在 $N \approx 728$ 处达到性能交叉点，在 $N = 8192$ 时实现 20.8x 加速，每个 token 的解码延迟恒定为 7.3 µs，并在 $N = 65536$ 时达到 76.0x 加速。