arXiv 人工智能· Yiren Zhao, Guanghui Song, Tianrui Qin, Kejiang Ye, Cheng-zhong Xu, Xitong Gao·· 5 小时前AI 评分34
iS-KV：基于分块增量 SVD 的在线低秩 KV cache 压缩方法
iS-KV: Online Low-Rank KV Cache Compression via Block-Incremental SVD
AI 导读
iS-KV 是一种面向长链式推理的在线低秩 KV cache 压缩方法，通过保留近期窗口精确状态并将较旧状态增量折叠进有界低秩表示，动态同步历史坐标以防止表示漂移。
来源：arXiv 人工智能 · arxiv.org