arXiv 自然语言处理· Yuxuan Liu·2026-10-19 12:00· 5 小时前AI 评分34

First Passage Attention：基于路径极值的新型注意力遗忘机制

First Passage Attention

AI 导读

研究提出 First Passage Attention（FPA），通过标量场最深下陷的路径极值降低 logit，解决了传统遗忘门因单调累积无法选择性擦除中间上下文的问题。