arXiv 自然语言处理· Xingjian Zhang·· 7 小时前AI 评分35
SAFE-KV:通过因果后缀修复实现 RAG 中保持行为一致的非前缀 KV cache 复用
SAFE-KV: Causal Suffix Repair for Behavior-Preserving Non-Prefix KV Cache Reuse in RAG
AI 导读
研究人员提出 SAFE-KV,通过从选定起始文档重新编码因果后缀来修复组合缓存,解决 RAG 中非前缀 KV cache 复用导致因果状态不一致的问题。
来源:arXiv 自然语言处理 · arxiv.org