arXiv 机器学习· Teresa Delgado, Hugo Hazard, Martin Benfeghoul, Jun Wang, Zafeirios Fountas·· 5 hours agoAI score41
LowRAM：基于低秩 Key 与摊销 Value 的测试期可组合 KV cache 压缩方法
LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
Not yet translated; shown in Chinese.
AI guide
研究人员提出非对称 KV cache 压缩方案 LowRAM，结合跨层低秩 Key 压缩与测试期 Value 缓存摊销，在三大模型族上实现接近无损压缩。该方法仅在解码步重构选定 KV 对以最小化开销，在 4x 压缩下可实现最高 5x 峰值解码吞吐量提升。此外，LowRAM 支持与量化及淘汰技术组合，在长上下文下达到 26.9x 压缩率并保持基线 94.5% 的性能。
Source:arXiv 机器学习 · arxiv.org