Transformer 的条件无毛定理：语言模型如何遗忘提示词

研究提出了针对自回归 Transformer 的“条件无毛定理”，揭示模型在生成 t 个 token 后隐藏状态对提示词的记忆会按幂律近似衰减。针对长度 P、层数 L 的模型，研究证明其影响偏差上界为 $O(P(\log t)^{L-1}/t)$，且已训练模型遗忘更快（$\alpha\approx0.55$--$0.7$）。