arXiv 自然语言处理· Yuxuan Zhu, David H. Yang, Parisa Shiravani, Mohammad Mohammadi Amiri, Tejaswini Pedapati, Subhajit Chaudhury, Keerthiram Murugesan, Pin-Yu Chen·· 8 小时前AI 评分33
FAD-KV：面向高效推理解码的自适应字典 KV Cache 框架
FAD-KV: Adaptive Dictionary KV Caching for Efficient Reasoning Decoding
AI 导读
研究人员提出 FAD-KV 框架，通过自适应字典稀疏压缩大语言模型的 KV cache，以解决长输出推理任务中内存与计算量线性增长的问题。该框架采用一次性 Top-n 筛选的轻量稀疏编码，并通过复用不活跃原子维持固定字典大小，在推理与长上下文基准测试中实现了出色的质量与解码效率权衡。
来源：arXiv 自然语言处理 · arxiv.org