跳到正文
热点事件持续更新

研究团队提出面向稀疏MoE模型的KV缓存压缩方法MoEZip

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

2026年10月23日,研究团队在arXiv发布论文,提出面向稀疏MoE大语言模型的路由感知KV缓存压缩方法MoEZip。针对KV驱逐易改变专家路由的问题,该方法结合基于路由分布Fisher信息矩阵的敏感度指标与注意力权重对上下文进行评分。实验结果表明,在10%的KV保留率下,MoEZip在LongBench和RULER基准测试中较SOTA基线平均提高24分和20分,得分分别达到基线的2.3倍与4.9倍。

AI 根据报道生成 · 6 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv 机器学习
    MoEZip:面向稀疏 MoE 大语言模型的路由感知 KV cache 压缩

    MoEZip 是一种面向稀疏 MoE 大语言模型的路由感知 KV cache 压缩方法,旨在解决 KV 驱逐改变专家路由的问题。该方法结合基于路由分布 Fisher 信息矩阵的敏感度指标与注意力权重进行上下文评分。在 10% 的 KV 保留率下,MoEZip 在 LongBench 和 RULER 较 SOTA 基线平均提高 24 和 20 分,得分分别达 2.3 倍与 4.9 倍。

本事件热度走势

当前热度 8·可比范围峰值 10(10月23日 13:00)·近 24 小时可比范围变化 –

02.557.51010月23日13:0010月23日15:0010月23日16:0010月23日18:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。