arXiv 机器学习· Minyoung Go, Yongjun Park·· 5 小时前AI 评分36
PeekKV：首个内容 token 即可识别关键注意力头
PeekKV: The First Content Token Already Knows Which Heads Matter
AI 导读
研究人员提出大语言模型 KV cache 压缩方法 PeekKV，无需离线分析或训练，仅凭 prefill 后的首个内容 token 即可动态分配显存。在 Llama-3.1-8B-Instruct 测试中，PeekKV 在 16K 上下文 RULER 下以 10% 显存预算保留了 95.7% 的全缓存精度，在 LongBench 下以 1.5% 预算保留了 95.9% 精度。
来源：arXiv 机器学习 · arxiv.org