arXiv 人工智能· Junjie Li, Jiong Lou, Jie Li·· 6 小时前AI 评分37
GateSight：混合大语言模型中利用循环记忆预判注意力记忆的与查询无关 KV 逐出方法
GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs
AI 导读
研究人员提出 GateSight 方法，利用混合大语言模型中 GDN 层在预训练/预填充阶段输出的门控与衰减信号，在不读取注意力分数的情况下预判并物理释放低效 KV cache。
来源：arXiv 人工智能 · arxiv.org