研究人员提出可组合KV缓存压缩方案LowRAM
Start here
2026年11月6日，研究人员在 arXiv 上提出非对称 KV 缓存压缩方案 LowRAM。该方案结合了跨层低秩 Key 压缩与测试期 Value 缓存摊销技术，在三大模型族上实现接近无损压缩。LowRAM 仅在解码步重构选定的 KV 对以最小化开销，在 4 倍压缩下最高可实现 5 倍的峰值解码吞吐量提升。此外，该方案支持与量化及淘汰技术组合，在长上下文场景下压缩率可达 26.9 倍，同时保持基线 94.5% 的性能。
AI-generated from reports · Updated 5 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 机器学习LowRAM：基于低秩 Key 与摊销 Value 的测试期可组合 KV cache 压缩方法
研究人员提出非对称 KV cache 压缩方案 LowRAM，结合跨层低秩 Key 压缩与测试期 Value 缓存摊销，在三大模型族上实现接近无损压缩。该方法仅在解码步重构选定 KV 对以最小化开销，在 4x 压缩下可实现最高 5x 峰值解码吞吐量提升。此外，LowRAM 支持与量化及淘汰技术组合，在长上下文下达到 26.9x 压缩率并保持基线 94.5% 的性能。
Story heat trend
Current heat 9·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.