arXiv 机器学习· Jiawei Lin, Saibo Geng, Thomas Bourgeat·· 3 小时前AI 评分38
EchoPress：基于虚拟上下文重构的 Query-Agnostic KV cache 剪枝
EchoPress: Query-Agnostic KV Cache Pruning via Virtual Context Reconstruction
AI 导读
EchoPress 是一种无需训练的 KV cache 剪枝方法，通过利用标准 prefill 的 query 与 key 并仅重构首个 chunk 来校准重要性。
来源：arXiv 机器学习 · arxiv.org