arXiv 人工智能· Yipin Guo, Arun M George, Siddharth Joshi·· 6 小时前AI 评分37
GAAC：面向个人设备的大语言模型带宽高效无损 KV 压缩技术
GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices
AI 导读
GAAC 是一种面向个人设备的无损 KV 缓存压缩系统，通过利用指数冗余在保持数值逐位完全无损的同时降低显存开销。测试显示其在 5 款模型上取得 1.405-1.407x 的 BF16 KV 压缩率，使常驻 KV 显存减少约 26%，聚合吞吐量提升 13-29%。
来源：arXiv 人工智能 · arxiv.org