arXiv 人工智能· JianKun Zou, Tongtong Yuan·· 9 小时前AI 评分34
EchoKV：通过迭代查询反馈实现自校正 KV cache 驱逐
EchoKV: Self-Corrective KV Cache Eviction via Iterative Query Feedback
AI 导读
EchoKV 提出一种通过迭代查询反馈自校正的 KV cache 驱逐方法，解决工作空间误差导致错误驱逐的失效问题。该方法保持与 LAQ 相同的工作空间前向传播次数，并引入张量重打分操作以修复工作空间。
来源：arXiv 人工智能 · arxiv.org