arXiv 自然语言处理· Dor Tsur, Maor Ashkenazi, Maximilian Golub, Peter Hicks, Yaniv Galron, Talor Abramovich, Yoav Miron, Tiyasa Mitra, Bita Darvish Rouhani, Ran Zilberstein·· 6 小时前AI 评分40
RIFT：结合互补压缩性训练的草稿模型 KV cache 压缩方法
RIFT: KV Cache Compression for Draft Models with Complementary Compressibility Training
AI 导读
研究提出用于投机解码草稿模型的 KV cache 压缩方法 RIFT，通过平衡预填充信息与近期生成 token 解决解码陈旧问题，并引入自适应刷新降低延迟成本。
来源：arXiv 自然语言处理 · arxiv.org