arXiv 机器学习· Tianle Zhou, Yang Zhang, Tianyu Wu, Zhuohan Wang, William Nixon, Juncheng Yang·· 15 小时前AI 评分36
LoopKV：面向 Looped Transformer 服务的循环感知 KV cache 压缩
LoopKV: Loop-Aware KV Cache Compression for Serving Looped Transformers
AI 导读
LoopKV 针对 Looped Transformer 提出循环感知的 KV cache 压缩方案，通过离线分析为各单元分配 4-bit、2-bit 存储或复用最终循环的 KV。
来源：arXiv 机器学习 · arxiv.org