arXiv 自然语言处理· Utkarsh Ranjan·2026-10-05 12:00· 5 小时前AI 评分37

WakeKV：面向动态注意力头的反应式可逆 KV 驻留机制

WakeKV: Reactive, Reversible KV Residency for Heads That Change Their Minds

AI 导读

研究人员提出 WakeKV，一种针对生成阶段注意力头行为动态变化的反应式可逆 KV 驻留策略，将冷却状态的注意力头转移至可恢复的 CPU 资源池而非永久逐出。在同等内存或预算下，WakeKV 相比 SnapKV、uniform R-KV 和 ReasonAlloc 显著降低了未命中率。