arXiv 自然语言处理· Chaogui Gou·· 9 小时前AI 评分40
从长上下文到选择性记忆：大语言模型以记忆为中心的压缩综述
From Long Context to Selective Memory:A Survey of Memory-Centric Compression for Large Language Models
AI 导读
该综述将大语言模型的长上下文压缩重新定义为推理期资源分配的记忆管理问题，区分了直接参与计算的计算活跃记忆与外部非活跃记忆。框架将写操作、卸载、召回、驱逐和遗忘等定义为信息生命周期中的状态转换，并引入统一预算成本模型。论文指出核心挑战在于动态决定哪些信息应在何时以何种形式参与高成本推理。
来源：arXiv 自然语言处理 · arxiv.org