arXiv 机器学习· Tianle Zhou, Yang Zhang, Tianyu Wu, Zhuohan Wang, William Nixon, Juncheng Yang·· 16 hours agoAI score36
LoopKV：面向 Looped Transformer 服务的循环感知 KV cache 压缩
LoopKV: Loop-Aware KV Cache Compression for Serving Looped Transformers
Not yet translated; shown in Chinese.
AI guide
LoopKV 针对 Looped Transformer 提出循环感知的 KV cache 压缩方案，通过离线分析为各单元分配 4-bit、2-bit 存储或复用最终循环的 KV。
Source:arXiv 机器学习 · arxiv.org