arXiv 自然语言处理· Wanyang Hong, Zhaoning Zhang·· 9 小时前AI 评分35
稀疏 KV Cache 选择后的位置几何研究：提出 RoPERelay 重组机制
Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches
AI 导读
研究人员针对稀疏 KV cache 在 RoPE 下因剔除 token 产生空隙影响 query-key 匹配的问题，提出重组机制 RoPERelay。该方法通过紧凑且保序的坐标分配、逆旋转与再旋转重定位 Key 相位，无需重新选择或历史重预填充。
来源：arXiv 自然语言处理 · arxiv.org