arXiv 自然语言处理· Taiga Ikeda, Daisuke Miyashita, Jun Deguchi·· 9 小时前AI 评分44
KV-Repurpose：用于评估非前缀 KV cache 复用的测试平台
KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse
AI 导读
开源测试系统 KV-Repurpose 基于 vLLM 构建，支持跨前缀的段级 KV cache 复用并已在 Apache-2.0 协议下开源。在 20% 请求共享固定前缀的 Zipf 分布 RAG 负载下，同为 30 GB 缓存容量时，其 token 级缓存命中率从传统前缀缓存的 3.3% 提升至 63.9%，显著降低 TTFT，而传统方案即使增至 1 TB 容量命中率也仅为 17.9%。
来源：arXiv 自然语言处理 · arxiv.org