arXiv 自然语言处理· Hanchen Xia, Baoyou Chen, Yutang Ge, Naihao Deng, Senqiao Yang, Zilong Dong, Weihao Yuan, Siyu Zhu·· 3 小时前AI 评分43
REMORY：通过学习残差记忆实现上下文压缩
REMORY: Learning Residual Memory for Context Compaction
AI 导读
REMORY 是一种通过生成软记忆 token 补充文本摘要的神经记忆网络，可帮助冻结的 LLM 在上下文压缩下近似完整历史的生成表现。在 SummHay 评测中，该方法仅占用 5.2% 的输入位置即接近完整上下文得分；Qwen3.8-27B 和 GLM-5.3-Flash 引入后，在 BrowseComp 与 Terminal-Bench 2.1 上的工具错误及重复输出大幅减少。
来源：arXiv 自然语言处理 · arxiv.org