热点事件持续更新
研究提出自回归Transformer条件无毛定理
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月20日，arXiv发布的人工智能研究提出了针对自回归Transformer的“条件无毛定理”，揭示了语言模型遗忘提示词的内在机制。该研究指出，模型在生成t个token后，其隐藏状态对初始提示词的记忆会按幂律近似衰减。理论证明显示，针对提示词长度为P、网络层数为L的模型，提示词的影响偏差上界为O(P(log t)^{L-1}/t)。此外，实际观测表明已训练模型的遗忘速度更快，衰减参数α大约在0.55至0.7之间。
AI 根据报道生成 · 6 小时前更新
最新进展10月20日 12:00
最新研究提出“条件无毛定理”，证明Transformer隐藏状态对提示词的记忆呈幂律衰减。报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv 人工智能Transformer 的条件无毛定理：语言模型如何遗忘提示词
研究提出了针对自回归 Transformer 的“条件无毛定理”，揭示模型在生成 t 个 token 后隐藏状态对提示词的记忆会按幂律近似衰减。针对长度 P、层数 L 的模型，研究证明其影响偏差上界为 $O(P(\log t)^{L-1}/t)$，且已训练模型遗忘更快（$\alpha\approx0.55$--$0.7$）。
本事件热度走势
当前热度 8·可比范围峰值 10（10月20日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。