研究探索非前缀KV缓存复用修复预算分配策略
Start here
针对非前缀 KV cache 复用易导致 19% 至 100% 问答损失的问题，arXiv 于 2026 年 11 月 5 日发布的一项自然语言处理研究探讨了修复预算的分配策略。研究发现在 3 个 7B 至 8B 参数模型中，将修复预算分配给目标块效果最优；基于复用 cache 重算目标块在全部 7 个测试设置中均超越直接插入全量 prefill KV。此外，在 5% 预算下，检索并重算 top chunk 的方法在 9 个开放域问答和 API 文档测试设置中的 6 个显著优于 InfoFlow 式重排序。
AI-generated from reports · Updated 3 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理非前缀 KV cache 复用中修复预算应如何分配？干扰结构与上下文兼容性研究
针对非前缀 KV cache 复用导致 19-100% 问答损失的现象，研究发现在 3 个 7B-8B 模型中将修复预算用于目标块效果最优。基于复用 cache 重算目标块在全部 7 个测试设置中均超越直接插入全量 prefill KV。在 5% 预算下，检索并重算 top chunk 在 9 个开放域 QA 和 API 文档设置中的 6 个显著优于 InfoFlow 式重排序。
Story heat trend
Current heat 9·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.