arXiv 自然语言处理· Yuxing Peng, Zhiqing Tang, Weijia Jia·· 6 小时前AI 评分34
非前缀 KV cache 复用中修复预算应如何分配？干扰结构与上下文兼容性研究
Where Should a KV-Cache Repair Budget Go? Distractor Structure and Contextual Compatibility in Non-Prefix Reuse
AI 导读
针对非前缀 KV cache 复用导致 19-100% 问答损失的现象，研究发现在 3 个 7B-8B 模型中将修复预算用于目标块效果最优。基于复用 cache 重算目标块在全部 7 个测试设置中均超越直接插入全量 prefill KV。在 5% 预算下，检索并重算 top chunk 在 9 个开放域 QA 和 API 文档设置中的 6 个显著优于 InfoFlow 式重排序。
来源：arXiv 自然语言处理 · arxiv.org