arXiv 自然语言处理· Marc Serra Ortega, Andrey Barsky, Carlos Boned Riera, Tom\'as Ockier, Dimosthenis Karatzas·· 6 小时前AI 评分41
基于状态空间编码的线性时间上下文压缩
Linear-Time Context Compression with State-Space Encoding
AI 导读
研究人员提出基于 Mamba 状态空间模型（SSM）的在线上下文压缩器 Boa Compressor，能以线性时间单次编码任意长度上下文。Boa 通过知识蒸馏训练，比基于 Transformer 的方案快一个数量级，且最高支持 16x 压缩比。其性能匹敌或超越现有 SOTA 离线基线，可低成本在推理阶段逐查询运行以降低端到端延迟。
来源：arXiv 自然语言处理 · arxiv.org