序列模型长记忆的代价：状态、上下文与稳定性复杂度研究

一项针对序列模型长程依赖的研究表明，在代数衰减预测记忆下，达到预测误差 $\tau$ 需要 $r=\Theta(\log^2(1/\tau))$ 个状态或模态，且长度为 $L$ 的有限上下文预测误差具有精确的 $1/L$ 前导阶。研究还推导出非线性循环模型的混沌包络，证明消除代数预测误差会迫使动态特性逼近临界状态。相关结论在状态空间、门控循环及 Attention 模型实验中均得到验证。