arXiv 机器学习· Minsang Kim, Seungjun Baek·· 7 小时前AI 评分43
MoEZip：面向稀疏 MoE 大语言模型的路由感知 KV cache 压缩
MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
AI 导读
MoEZip 是一种面向稀疏 MoE 大语言模型的路由感知 KV cache 压缩方法，旨在解决 KV 驱逐改变专家路由的问题。该方法结合基于路由分布 Fisher 信息矩阵的敏感度指标与注意力权重进行上下文评分。在 10% 的 KV 保留率下，MoEZip 在 LongBench 和 RULER 较 SOTA 基线平均提高 24 和 20 分，得分分别达 2.3 倍与 4.9 倍。
来源：arXiv 机器学习 · arxiv.org