arXiv 机器学习· Gleb Molodtsov, Ekaterina Alimaskina, Evgeny Uskov, Artur Zagitov, Aleksandr Beznosikov·· 6 小时前AI 评分38
块扩散语言模型中基于掩码引导的 KV cache 淘汰方法
Mask-Guided KV Cache Eviction in Block Diffusion Language Models
AI 导读
研究人员提出免训练的 KV cache 优化方法 MaskAhead 及其量化版本 Q-MaskAhead，通过掩码查询排序机制解决块扩散语言模型的 token 选择与缓存淘汰问题。
来源：arXiv 机器学习 · arxiv.org