arXiv 自然语言处理· Jack Cai, Lijie Yang, Vasilis Kontonis, Dimitris Papailiopoulos, Shivam Garg·· 3 小时前AI 评分43
AbridgeKV：将长推理压缩至可学习暂停 token 的 KV cache
AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens
AI 导读
AbridgeKV 通过训练模型将已生成的文本块压缩至少量可学习 pause token 的 KV cache 中，以释放原始缓存并降低长链式推理的显存占用。在 AIME、HMMT 等 446 道竞赛题的 32K token 生成测试中，仅保留四分之一生成缓存即可在准确率与输出长度上匹敌全量 KV 模型。
来源：arXiv 自然语言处理 · arxiv.org