arXiv 机器学习· Tianle Zhou, Yang Zhang, Tianyu Wu, Zhuohan Wang, William Nixon, Juncheng Yang·· 16 時間前AI スコア36
LoopKV：面向 Looped Transformer 服务的循环感知 KV cache 压缩
LoopKV: Loop-Aware KV Cache Compression for Serving Looped Transformers
未翻訳のため中国語で表示しています。
AI ガイド
LoopKV 针对 Looped Transformer 提出循环感知的 KV cache 压缩方案，通过离线分析为各单元分配 4-bit、2-bit 存储或复用最终循环的 KV。
出典：arXiv 机器学习 · arxiv.org