跳到正文
原文
arXiv 自然语言处理· Xingjian Zhang·· 7 小时前AI 评分35

SAFE-KV:通过因果后缀修复实现 RAG 中保持行为一致的非前缀 KV cache 复用

SAFE-KV: Causal Suffix Repair for Behavior-Preserving Non-Prefix KV Cache Reuse in RAG

AI 导读

研究人员提出 SAFE-KV,通过从选定起始文档重新编码因果后缀来修复组合缓存,解决 RAG 中非前缀 KV cache 复用导致因果状态不一致的问题。

来源:arXiv 自然语言处理 · arxiv.org